Duivesteijn begon zijn politieke loopbaan als gemeenteraadslid in zijn geboortestad Den Haag. Hij werd daar in 1980 als wethouder verantwoordelijk voor ruimtelijke ordening en stadsvernieuwing. In die functie was hij onder meer verantwoordelijk voor de bouw van het nieuwe Haagse gemeentehuis aan het Spui, in de volksmond beter bekend als het IJspaleis.

Het leverde een compleet nieuw aangezicht op voor de binnenstad, maar ruzies over het bouwwerk leidden ook tot zijn vertrek in 1989. In dat jaar ontsnapte hij ook aan een aanslag door het door een Scheveningse crimineel geleide beveiligingsbedrijf Toetanchamon, dat een explosief in een lamp had verstopt en bij hem afleverde. Het explosief ging niet af. Duivesteijn was ook enige tijd directeur van het Architectuurinstituut.

Van 1994 tot 2006 zat Duivesteijn in de Tweede Kamer, waar hij zich opnieuw bezighield met ruimtelijke ordening en volkshuisvesting. Als Kamerlid maakte hij deel uit van de parlementaire enquêtecommissie die onderzoek deed naar fraude in de bouw. Hij verliet de Kamer in 2006 om wethouder te worden in Almere.

Daarna was hij van 2013 tot 2015 lid van de senaat. Op dat moment regeerde Rutte-II, waarin zijn PvdA samen met de VVD forse bezuinigingen doorvoerde. Het PvdA-kopstuk had geen warme gevoelens bij deze combinatie en evenmin bij toenmalig PvdA-leider Diederik Samson, die hij geen moreel leider vond.

Als senator veroorzaakte Duivesteijn eind 2014 mede een kabinetscrisis. Hij stemde met twee fractiegenoten tegen het plan van toenmalig zorgminister Edith Schippers om de vrije artsenkeuze af te schaffen. Hij deed dat naar eigen zeggen omdat hij door zijn ziekte zelf had ondervonden hoe belangrijk het is om niet vast te zitten aan één specialist.

Een jaar eerder zorgde hij al voor grote politieke ophef toen hij als senator dreigde het zogeheten Woonakkoord niet te steunen. De PvdA-senator was tegen de heffingen die de woningcorporaties opgelegd kregen, omdat het in zijn ogen slecht uitpakte voor betaalbare woningen voor de lage inkomens. Onder druk stemde hij uiteindelijk in.

Voor zijn partij was en bleef Duivesteijn een ware luis in de pels. Hij was eigenzinnig en volgde zijn eigen koers, hield vast aan zijn ideeën en maakte daar binnen en buiten zijn partij niet altijd vrienden mee. Hij schroomde ook niet om harde kritiek te leveren op de partijtop als hij vond dat die de sociaaldemocratische beginselen verkwanselde of als zijn sociaaldemocraten weer eens een dramatisch verlies hadden geleden. Zo zei hij in 2015 na de provinciale verkiezingen dat er aan de top van zijn partij „een tunnelvisie” was, die een kloof met de kiezer en misschien ook wel met partijleden opleverde.

In 2014 werd hij benoemd tot ereburger van Den Haag om zijn verdiensten voor de stadsvernieuwing.