Clark werd in december 1927 geboren in Dallas (Texas). Zijn vader was na de Tweede Wereldoorlog een aantal jaar minister van Justitie onder Harry S. Truman en werd daarna opperrechter bij het Hooggerechtshof in Washington.

Tijdens de regering van John F. Kennedy bekleedde Clark belangrijke posities binnen het ministerie van Justitie, waarna hij in 1967 door Johnson tot minister werd verkozen. Het zorgde er wel voor dat zijn vader zijn functie bij het Hooggerechtshof neerlegde om de schijn van mogelijke belangenverstrengeling tegen te gaan. Tijdens Clarks verblijf op het ministerie vervulde hij een belangrijke rol tijdens de Afro-Amerikaanse burgerrechtenbeweging. Hij was een van de ontwerpers van een aantal belangrijke wetten tegen rassendiscriminatie.

In zijn latere leven keerde Clark zich tegen Amerikaanse militaire interventies in het buitenland en onder het motto dat iedereen het beste juridische advies verdient, stond hij tal van omstreden figuren bij. Ook geloofde hij heilig in de internationale rechten van de mens. „30 jaar lang heb ik het idee gesteund en gewerkt voor de oprichting van een internationaal strafhof dat universele jurisdictie heeft en onafhankelijk is van alle politieke invloed en dat de macht heeft om de rijken en machtigen te vervolgen, evenals de armen en zwakken”, zei hij in 2001 toen Milošević in Den Haag onder meer terechtstond voor misdaden tegen de menselijkheid. „Gelijkheid is de moeder van gerechtigheid. Als er geen gelijkheid is in de wet, is er geen gerechtigheid.”