Het kan toeval zijn geweest, dat Remkes juist maandag liet aankondigen dat hij naar Phuket zou gaan, op het moment dat de Tweede Kamer zijn onzichtbaarheid aan de kaak stelde. Hij was niet eerder gegaan omdat hij de hulpverleners niet voor de voeten wilde lopen, luidde de verklaring. Maar toen was de indruk al gewekt dat hij zijn vakantie op het eiland Koh Samui, 250 kilometer van Phuket, niet wenste te onderbreken voor de slachtoffers van de ramp.

Remkes kon lang zeggen, wat andere politici alleen durfden te denken. Zo zou hij de jongens die twee jaar geleden René Steegmans in Venlo molesteerden, het liefst „een rotschop" hebben verkocht en vond hij de celstraf voor Volkert van der G. te laag. Toen kwam hij daar nog mee weg, werd hij zelfs geprezen om zijn apolitieke uitlatingen, maar die tijd lijkt voorgoed voorbij.

In november 2003 struikelde hij over een tv–interview waarin hij suggereerde dat de huidige regionale politiekorpsen zouden moeten opgaan in een nationaal korps. Na een boel commotie bleek dat hij bedoeld had te zeggen dat dat slechts een van de mogelijkheden was. Diezelfde maand nog kreeg hij openlijk ruzie met de Amsterdamse hoofdcommissaris van politie Kuiper. Burgemeester Cohen moest de zaak sussen.

De schade bij deze incidenten was nog beperkt, maar in de zomer van 2004 moest Remkes diep door het stof. Hij had gereageerd op een brief waarin het terroristennetwerk al–Qaeda zou dreigen met aanslagen in Nederland. De brief bleek niet te bestaan. Hij had gereageerd „veronderstellend dat de vermeende brief zou bestaan."

Het afgelopen najaar volgden de incidenten elkaar in rap tempo op. Op 2 november, kort na de moord op Theo van Gogh, sprak de minister van Binnenlandse Zaken voor zijn beurt door te melden dat de verdachte een bekende van de Algemene Inlichtingen en Veiligheidsdienst (AIVD) was. De Amsterdamse hoofdofficier De Wit wist op dat moment nog van niets en voelde zich gepasseerd.

Kort daarop volgde een interview in NRC–Handelsblad waarin Remkes vaststelde dat zijn collega Donner (Justitie) „sneller de neiging heeft" de grenzen van de wet te onderstrepen. Remkes zelf zou soms verder willen gaan in de aanpak van het terrorisme. De veiligheidsministers haastten zich vervolgens eensgezind te ontkennen dat er ook maar een streep licht zat tussen hun opvattingen. Het was, wederom, niet zo bedoeld.

Weer een paar dagen later kreeg Remkes in een debat over de moord op Van Gogh een motie van wantrouwen aan zijn broek van het onafhankelijke Kamerlid Wilders. Remkes had het al moeilijk omdat VVD–fractieleider Van Aartsen het kabinet, en dus ook hem, „laksheid en naïviteit" had verweten bij de bestrijding van het terrorisme. In de wandelgangen heette het dat Van Aartsen de VVD–minister liet bungelen. De beterschap die Remkes beloofde, en het vertrouwen dat Van Aartsen hem vervolgens gaf, konden niet verhinderen dat aan hem nog steeds het beeld van een bungelende minister van Binnenlandse Zaken kleeft.