Na de val de Sovjet-Unie werd hij in 1994 door de nieuwe leider van Rusland, Boris Jeltsin, tot voorzitter gemaakt van een officiële mensenrechtencommissie. Maar hij verloor die post weer toen hij de oorlog in Tsjetsjenië fel bekritiseerde. Later bekritiseerde hij de huidige president Vladimir Poetin herhaaldelijk.

Kovalev was ook enige tijd voorzitter van de mensenrechtenorganisatie Memorial. De beweging, die door de regering inmiddels is bestempeld als ‘buitenlandse agent’, prees Kovalev op Facebook als iemand „die altijd en overal trouw was aan het idee van de mensenrechten, in tijden van oorlog, van vrede, in de politiek en in het dagelijkse leven”.

In 1998 werd hij in Nederland onderscheiden met de Geuzenpenning.