Van Dijk werd in 1974 gemeenteraadslid voor de CHU in Rotterdam. In 1977 werd hij Tweede Kamerlid namens het CDA.Vervolgens werd hij in 1981 minister van Ontwikkelingssamenwerking onder Van Agt. In het tweede kabinet-Lubbers (1986-1989) was Van Dijk minister van Binnenlandse Zaken. Tussen 1991 en 1999 was hij lid van de Eerste Kamer.

In 1983 en 1984 leidde Van Dijk de parlementaire enquetecommissie naar de ondergang van Rijn-Schelde Verolme. In 1999 was hij voorzitter van de commissie die de Ceteco-affaire afhandelde.

Van Dijk stond daarnaast mede aan de wieg van de reformatorische studentenvereniging CSFR.