Als staatssecretaris in het eerste kabinet-Lubbers (1982-1986) had hij de PTT in zijn portefeuille. Hij speelde een belangrijke rol bij de verhuizing van de PTT-directie naar Groningen. Ook kwam hij met voorstellen autogordels op de achterbank en zijreflectors op fietsen verplicht te stellen.

Scherpenhuizen begon zijn politieke loopbaan in de Provinciale Staten van Groningen. Van 1973 tot 1982 zat hij voor de VVD in de Tweede Kamer, waar de Groninger zich al inzette voor de economische ontwikkeling van het noorden. Na zijn periode als staatssecretaris was hij nog drie jaar Kamerlid.