Van den Berg –geboren in Rotterdam en opgegroeid in Veenendaal– voltooide een bakkers- en een drogisterijopleiding. Hij werkte aan de Universiteit van Amsterdam en vanaf 1971 bij het Reformatorisch Dagblad. Hij behoorde tot de Gereformeerde Gemeenten en was diaken en later ouderling in Veenendaal. Binnen de SGP was Van den Berg voorzitter van het landelijk verband van studieverenigingen. Hij werd in 1966 gemeenteraadslid en in 1970 wethouder in Veenendaal en was burgemeester van Sint Philipsland (1973-1981) en Genemuiden (1981-1986). Daarnaast was hij statenlid in Zeeland (1974-1981) en Utrecht (1987-2003).

In 1986 was er sprake van dat hij SGP’er Van Rossum zou opvolgen in de Tweede Kamer, maar het hoofdbestuur koos voor zijn Nunspeetse naamgenoot. „Ik heb het niet voor gezien willen houden toen er dingen gebeurden die zo niet hadden mógen gebeuren”, zei NPV-directeur Van den Berg daarover. „Ik ben niet de figuur om in wrok om te zien.” Hij kreeg in de periode 1995-2011 zitting in de Eerste Kamer . Net als zijn fractiegenoot Holdijk schreef hij zijn toespraken met de hand.

In de jaren 1986-2000 was Van den Berg directeur van de Nederlandse Patiënten Vereniging . Hij was ook bestuurslid van scholen, bejaardencentra en ziekenhuizen. Kalm en gestructureerd verzette hij grote hoeveelheden werk. „De vraag om bewaard te worden voor hoogmoed kreeg een vaste plek in mijn gebed.”

Tijdens zijn burgemeesterschap in Genemuiden nam Van den Berg het initiatief tot oprichting van een reformatorische school voor speciaal onderwijs in Zwolle. Als NPV-directeur stond hij aan de wieg van Pro Life Zorgverzekeringen. Toen die in 2022 besloot ook abortus, euthanasie, standaard-ivf-behandelingen en transgenderzorg te vergoeden, ervoer Van den Berg dat als „een geweldige schok”.

Na zijn pensionering bleef de oud-senator actief. Hij was bestuursvoorzitter en daarna interimbestuurder van het Barneveldse verzorgingshuis Elim, later ook van de tehuizen in Rijssen en Den Dolder. Vervolgens gaf hij leiding aan de woningbouwvereniging in Veenendaal.

Op 5 maart 2017 legde Van den Berg het ouderlingschap neer omdat hij terugkeerde naar Genemuiden . Over zijn geestelijk leven zei hij: „De Heere liet Zich niet onbetuigd in het leven van een zondaar die zijn onwaarde moest inleven.” In een interview in 2019 blikte hij terug. Hij keek ook vooruit: „Het is rijk als het hemelse perspectief oplicht.”