Patterson je prvi značajniji uspjeh u karijeri ostvario na Olimpijskim igrama u Helsinkiju 1952. godine gdje je osvojio zlatnu medalju u kategoriji do 73 kilograma, a potom je prešao u profesionalce. Upisao je 55 pobjeda od čega 40 knockoutom, 8 poraza i jedan neodlučeni ishod. Prvi svjetski naslov u teškoj kategoriji osvojio je 1956. godine pobjedom nad Archieom Mooreom, čime je postao najmlađi prvak u povijesti boksa. Imao je 21 godinu i deset mjeseci. Njegov rekord srušio je tek Mike Tyson koji je prvi naslov osvojio kao 20-godišnjak. Patterson je boksačku karijeru okončao 1972. godine nakon poraza od Muhammada Alia.
Nakon prestanka boksačke karijere bio je čelnik sportske komisije američke savezne države new York.