Hij stapte in 1982 op nadat Argentinië de Falklandeilanden was binnengevallen. Van 1984 tot 1988 was hij secretaris-generaal van de NAVO. Hij volgde destijds Joseph Luns op.

Carrington had een speciale band met Nederland. Hij heeft een belangrijke rol gespeeld in de operatie Market Garden, de poging van de geallieerden in september 1944 om Nederland in één keer te bevrijden. Carrington was kapitein in het Britse 30e Legerkorps en leidde de tanks waarmee de Waalbrug bij Nijmegen werd veroverd. Aan de overkant van de brug hield hij samen met de Amerikanen die met een bootje de rivier waren overgestoken stand tegen de Duitse bezetters.

Market Garden mislukte omdat de geallieerden de volgende brug, die over de Rijn bij Arnhem, niet in handen konden krijgen. Carrington is diverse malen bij herdenkingen van Market Garden geweest. Bij de vijftigste keer zei de latere NAVO-baas: „Het droevigste van de operatie Market Garden is voor mij dat we na het innemen van de Waalbrug niet verder gekomen zijn.”

Als NAVO-chef vond hij dat militair ingrijpen uitsluitend als vredemissie moest plaatsvinden. „Ik ben me ervan bewust was dat wij in het Europa van na de oorlog nooit meer dezelfde fouten mochten maken.”