Walters werd in New York geboren, maar verhuisde op 6-jarige leeftijd met zijn ouders naar Europa. Daar bekwaamde hij zich in talen, wat hem van pas kwam in zijn latere carrière. Na het einde van de Tweede Wereldoorlog werd Walters betrokken bij het opstellen van het Marshallplan, de economische hulpoperatie die Europa er weer bovenop zou helpen. Hij werd militair adviseur van president Harry Truman, alsmede onder diens opvolger Dwight Eisenhower.

Als adviseur reisde Walters de wereld rond en hij vertelde graag over de aanvaring die toenmalig vice-president Richard Nixon in 1958 had met demonstranten in Venezuela. De auto waarin Nixon en Walters zaten werd bekogeld met stenen en Walters raakte door rondvliegend glas gewond aan zijn lip. „Spuug dat glas uit, je moet nog een hoop Spaans praten voor mij vandaag”, zo luidde Nixons commentaar.

Walters was nauw betrokken bij de geheime onderhandelingen die de regering-Nixon voerde met de Noord-Vietnamezen. In 1972 werd Walters gepromoveerd tot luitenant-generaal. Hetzelfde jaar werd hij onderdirecteur van de CIA. Van 1985 tot 1988 was Walters ambassadeur bij de Verenigde Naties. Onder president George Bush senior beëindigde hij in 1991 zijn carrière als ambassadeur in Duitsland.