De Duitse Jood, geboren in 1912 in Oost-Pruisen, vluchtte in 1936 voor het nazisme en kwam in de Sovjet-Unie terecht. Sanderling werd er in 1941 tweede dirigent van het beroemde Leningad Philharmonisch Orkest. In 1960 mocht hij terug naar zijn geboorteland; hij werd in Oost-Berlijn chef-dirigent van het Berliner Sinfonie Orchester, waaraan hij tot 1977 verbonden was. Ook dirigeerde hij van 1964 tot 1967 de Staatskapelle Dresden.

Sanderling was bevriend met de Russische componist Dmitri Sjostakovitsj, van wie hij veel muziek dirigeerde. Verder maakte de dirigent naam met uitvoeringen van Beethoven, Bruckner, Brahms en Mahler.

Sanderling bleef tot op hoge leeftijd actief en dirigeerde ook in Nederland. Bij het Koninklijk Concertgebouworkest en bij het Rotterdams Philharmonisch Orkest vervulde hij talrijke gastdirecties.

In 2002 nam Sanderling afscheid van het podium. Hij overleed zaterdag twee dagen voor zijn 99e verjaardag.