Scherpenhuizen was staatssecretaris van Verkeer en Waterstaat van 1982 tot en met 1986, in het eerste kabinet-Lubbers. Daarna zat hij nog drie jaar in de Tweede Kamer en hij maakte deel uit van de enquêtecommissie bouwsubsidies.

Scherpenhuizen wordt in het noorden van Nederland vooral herinnerd als de man die de slag om de PTT won. Hij maakte als staatssecretaris deel uit van een ijzersterke noordelijke VVD-lobby die in de jaren tachtig de verhuizing van de PTT-top met ruim 2000 banen van Den Haag naar Groningen veiligstelde en die onder veel liberalen uit Friesland, Groningen en Drenthe tot opgetogenheid leidde.

Eerder was hij onder meer docent aardrijkskunde in Assen en ambtenaar belast met stedebouw en volkshuisvesting in het Duitse Keulen en Groningen.