Klemperer Breslauban született (a mai Wrocławban). Frankfurtban és Berlinben tanult. 1905-ben találkozott Mahlerrel, és barátok lettek. Klemperer 1907-ben, Mahler ajánlásával a prágai Opera vezetője lett. Később Klemperer segítette Mahlert 8. szimfóniájának („Ezrek szimfóniája”) bemutatásában.

A következő húsz évben sok operaházat igazgatott: Hamburg (1910–1912), Barmen (1912–1913); Strasbourg (1914–1917), Köln (1917–1924), Wiesbaden (1924–1927), a berlini Kroll Opera (1927–1931). Berlinben új darabokat vitt színre, többek között Leoš Janáček Feljegyzések a holtak házából, Arnold Schönberg Várakozás, Igor Stravinsky Oedipus Rex és Paul Hindemith Cardillac című műveit.

Amikor 1933-ban a nácik hatalomra kerültek, a zsidó Klemperernek el kellett hagyja Németországot. Nem számított, hogy még abban az évben Paul von Hindenburg birodalmi elnök kitüntette a „Németország előrejutásának munkása” elismeréssel, de az sem, hogy már korábban megkeresztelkedett. Az Egyesült Államokba távozott, ahol állampolgárságot kapott, és visszatért zsidóságához. Kinevezték a Los Angeles Philharmonic Orchestra vezető karmesterének, akikkel elsősorban Beethoven, Brahms és Mahler műveit játszották, ami nagy sikert hozott számára, de előadta Arnold Schönberg zenéjét is. Túlhajszolt életmódja miatt megromlott az egészsége, depresszióba esett (bipoláris zavar). 1939-ben, Bostonban – tévesen – agytumort állapítottak meg nála, és megoperálták. Az operáció után részben lebénult, és egy gyógyintézetben maradt. A New York Times című lap a címlapján közölte, hogy eltűnt, pedig ekkor New Jerseyben tartózkodott. Sikertelen műtétje után elvesztette a pozícióját Los Angelesben,^[2] és Amerikában nem is kapott rendszeres munkát.

A világháború után visszatért Európába, ahol 1947-től 1950-ig a budapesti Operaháznak lett vezető karmestere, és az Opera történetének rövid aranykorát vezette. Ezt követően Montréalban, Kölnben és Londonban vezényelt. 1954-től saját zenekarával, a londoni Philharmonia Zenekarral, melynek 1959 és 1973 között vezető karmestere volt, számos lemezfelvételt készített Beethoven, Brahms és számos más zeneszerző műveiből.

Mint zeneszerző kevéssé ismert, de hat szimfóniát és egy operát (Das Ziel) is írt.^[3] 1970-ben izraeli állampolgár lett. Később Zürichbe ment, és ott is maradt haláláig. Az Oberer Friesenberg zsidó temetőben nyugszik.