Iako je desetljećima živio u egzilu, uglavnom u Francuskoj, Carrillo je bio središnja figura španjolske politike tijekom većeg dijela burnog 20. stoljeća, a imao je ulogu i u teškom prijelazu na demokraciju krajem '70-ih godina nakon smrti diktatora Francisca Franca.
Carrillo je svoju dugovječnost pripisivao aktivnom sudjelovanju u španjolskom političkom životu i pisanju eseja. "Ja sam političar s osjećajem za stvarnost", rekao je Carrillo u jednom intervjuu za Reuters.
"Ako možete reći išta dobro o meni, onda je to da sam dugo živio i aktivno sudjelovao u mnogim epizodama španjolske povijesti", kazao je on predstavljajući jedan dokumentarni film 2009. godine.
Carrilo se aktivirao 1931. godine kada je u 15. godini počeo izvještavati za novine Socijalističke partije i pridružio se gomili koja je slavila odlazak kralja Alfonsa XIII. u egzil i proglašenje druge španjolske republike.
Godine 1936. pridružio se vojsci kako bi branio republiku od vojne pobune koja se pretvorila u krvavi građanski rat koji je trajao gotovo tri godine i završio dolaskom na vlast diktatora Franca. Komunističkoj partiji je pristupio kada je republikanska vlada napustila Madrid.
Nakon pobjede Francovih snaga 1939. Carrillo je otišao u egzil otkuda je pomagao organizirati otpor diktaturi. Godine 19609. postao je glavnim tajnikom Španjolske komunističke partije (PCE) i počeo ga je kritizirati Francov režim.
Proveo je 38 godina u egzilu, najviše u Francuskoj i Sovjetskom Savezu, a vratio se u Španjolsku nakon Francove smrti. Godine 1977. postao je članom parlamenta na prvim izborima održanim u Španjolskoj od 1936.