Sary was tijdens het bewind van de Rode Khmer (1975-1979), een van de bruutste regimes van de vorige eeuw, minister van Buitenlandse Zaken. Hij was een van de grootste publieke aanhangers van de zuiveringen van het regime, aldus onderzoekers. Het Cambodja-Tribunaal klaagde hem aan voor misdaden tegen de menselijkheid. Volgens het door de VN gesteunde tribunaal bestonden er voldoende bewijzen dat hij „herhaaldelijk en publiekelijk arrestaties en executies aanmoedigde”. Naar schatting twee miljoen mensen kwamen in de 4 jaar dat de Rode Khmer aan de macht waren, om het leven.

Ieng Sary en de leider van de Rode Khmer, Pol Pot, kwamen elkaar voor het eerst tegen op school in de Cambodjaanse hoofdstad Phnom Penh. Ze studeerden later allebei in Parijs en waren fanatieke aanhangers van de communistische beweging. Ieng Sary werd lid van de Franse Communistische Partij. Daarnaast was hij een marxistische studentenleider.

Nadat Ieng Sary in Parijs getrouwd was met de zus van Pol Pots echtgenote Khieu Thirith, keerde hij met zijn bruid terug naar Phnom Penh. Daar hielp hij in de jaren 50 een geheime communistische organisatie op te zetten. Ieng Sary maakte snel carrière binnen de Cambodjaanse communistische partij.

Na de val van het bewind in 1979 vluchtte Ieng Sary naar Thailand. Een door Vietnam gesteund oorlogstribunaal veroordeelde hem datzelfde jaar bij verstek ter dood. In 2007 werd hij aangehouden.