Van Agt gaf aan waarom zijn minister van Binnenlandse Zaken, Wiegel, de werkkamer in het torentje aanhield als een oord van bezinning, terwijl op een steenworp afstand van het Binnenhof net een nieuw departement voor hem en zijn ambtenaren was gebouwd. Ruim honderd jaar resideerden de ministers van Binnenlandse Zaken in het torentje; Thorbecke was in de eerste. Logisch dat zijn liberale geestverwant Wiegel er niet weg wilde. Die wens van Wiegel hield overigens geen stand. De minister ruimde in 1981 het veld en in 1982 nam premier Lubbers zijn intrek in het achthoekige bouwwerk. Zijn opvolgers volgden zijn voorbeeld. De uitstulping aan het Binnenhofcomplex komt voor het eerst voor in een kroniek uit 1354. Ze diende als zomerprieel van de graven van Holland. Enige tijd deed ze zelfs dienst als vestingwerk om ongewenste indringers van het Binnenhof te weren. In het begin van de zeventiende eeuw nam de Raad van State een groot deel van de Binnenhofbebouwing aan de Hofvijverzijde –waaronder het torentje– in gebruik. De tekst boven de deur herinnert daaraan. Tot 2002 konden mensen zo naar de ingang lopen van het torentje, maar sinds de moord op Fortuyn is het Binnenhof veranderd in een vesting. Nu staat er een zwaar smeedijzeren hek dat alleen opengaat voor de auto van de premier en voor speciale gasten. Alleen buiten dit hek mogen publiek en pers hun plaatjes schieten van de Torentjesdeur.