Buitenplaats De Zwaluwenberg is eigendom van de Staat der Nederlanden. Die kocht in 1951 landhuis en de tuin, als verblijf voor de Inspecteur-Generaal der Krijgsmacht (IGK). Prins Bernhard vervulde die functie van 1945 tot 1976. In dat jaar trad hij af als gevolg van de Lockheed-affaire.

De Zwaluwenberg kent een lange geschiedenis. Het heidegebied bij Hilversum werd in de negentiende eeuw langzaam maar zeker omgetoverd in een bosrijk landgoed met berken, beuken, eiken en dennen. Tussen 1842 en 1885 was de Amsterdamse makelaar Johannes Ruijs eigenaar.

Op de top van de ‘berg’ bouwde Ruijs een kleine ronde koepel die dienst deed als buitenverblijf. In 1880 brandde de koepel af, waarna Ruijs op dezelfde plek van de koepel een uitspanning voor het publiek bouwde, compleet met doolhof en speeltuin.

In 1912 kwam het landgoed in handen van jonkheer Ernestus de Pesters. Hij gaf opdracht om op het hoogste punt van het gebied een villa in Engelse stijl te bouwen voor zijn Schots-Nederlandse echtgenote Grace MacColl. Na het overlijden van Grace in 1933 verliet de familie De Pesters het landhuis.

Vanaf de Tweede Wereldoorlog heeft het land huis voornamelijk dienst gedaan als onderkomen van militairen. Eerst de Nederlanders tijdens de mobilisatie, vervolgens huisde er de Duitse bezetter en daarna de Canadese bevrijders.

Al eerder diende De Zwaluwenberg als overleglocatie voor een kabinetsformatie. Dat was op 18 en 19 januari 2007. De onderhandelingen leidden tot het vierde kabinet-Balkenende van CDA, PvdA en ChristenUnie.

De buitenplaats is elk jaar tijdens Open Monumentendag geopend voor het publiek.