Carrillo was de zoon van een vooraanstaand lid van de sociaaldemocratische PSOE in de stad Gijón in het noordwesten van Spanje. Van oktober 1934 tot februari zat hij gevangen wegens zijn betrokkenheid bij een linkse poging tot een staatsgreep tegen de Republikeinse regering.

In de Spaanse Burgeroorlog (1936-’39) vocht Carrillo, inmiddels lid van de Communistische Partij, aan de kant van de Republiek en leidde hij de verdediging van de hoofdstad Madrid tegen de latere dictator Francisco Franco. Na de verloren oorlog vluchtte hij naar Parijs. In 1960 werd hij gekozen tot leider van de PCE in ballingschap. Na de dood van Franco in 1975 keerde hij terug naar Spanje om de democratie weer op te bouwen.

In 1985 werden Carrillo en zijn aanhangers na een ruzie uit de PCE gezet. Hij stichtte een jaar later een nieuwe partij, maar die bleek weinig kiezers te trekken. In 1991 kondigde Carrillo daarom aan dat de partij zou worden opgeheven.