Karlsson kan bogen op een enorme dosis ervaring in de politiek en het openbaar bestuur. Al vanaf 1962 bekleedt de 64–jarige sociaaldemocratische politicus allerlei functies waaronder die van beleidsadviseur voor de premier tussen 1968 en 1973 en directeur–generaal van het ministerie van Buitenlandse Zaken in 1994 maar ook als staatssecretaris en minister.

De in 1939 in Stockholm geboren Karlsson studeerde aan de Universiteit van zijn geboortstad. Daar haalde hij een graad in de economie, politicologie en geschiedenis. Al voor zijn benoeming tot minister van Buitenlandse Zaken op donderdag maakte hij deel uit van de regering–Persson als minister van Ontwikkelingssamenwerking en Migratievraagstukken.

Ook in Europa is Karlsson geen onbekende. Tussen 1999 en 2001 was hij president van de Europese Rekenkamer.