Herzog was lid van de christendemocratische CDU. Hij was van 1994 tot 1999 president van de Bondsrepubliek. Daarvoor was hij minister van Onderwijs en Wetenschappen van Duitsland en minister voor Binnenlandse Zaken in de deelstaat Baden-Württemberg. Ook was hij president van het grondwettelijke hof.

Over de omstandigheden van zijn overlijden is nog niks bekendgemaakt. Gauck noemde zijn voorganger een „markante persoonlijkheid” die veel heeft gedaan voor het Duitse zelfbeeld en de onderlinge samenhang van de samenleving. Duitse presidenten zijn doorgaans belangrijk voor het morele kompas van de natie.

Herzog, van oorsprong jurist, zat na zijn presidentschap in diverse commissies, waaronder het Convent voor Duitsland, een panel van deskundigen dat zich onder andere boog over federale hervorming en de financiële toestand van het land.