Schlesinger, in Harvard afgestudeerd als econoom, was voor zijn benoeming bij het Pentagon een half jaar directeur van de inlichtingendienst CIA. Zijn plannen voor een grootscheepse reorganisatie van de dienst waren daar zo impopulair dat een camera bij zijn portret werd opgehangen om vernielingen te voorkomen.

Als minister van Defensie voerde Schlesinger de militaire uitgaven flink op, omdat de Verenigde Staten volgens hem bij de Sovjet-Unie achterop dreigden te raken. In zijn tijd op het Pentagon nam het communistische Noord-Vietnam Zuid-Vietnam in. Zijn gevatheid, die voor sommigen grensde aan arrogantie, bezorgde hem vijanden. Toen hij in conflict raakte met zijn ambtgenoot op Buitenlandse Zaken, Henry Kissinger, en enkele leden van het Congres, achtte president Gerald Ford de tijd gekomen hem aan de kant te zetten. Ford was bovendien weinig ingenomen met de stijgende uitgaven voor defensie.

In 2008 benoemde president George W. Bush hem tot hoofd van een commissie die methoden onderzocht om het beheer van het nucleair arsenaal van de Verenigde Staten te verbeteren.