Nadahnuta Europskom unijom, Afrička je unija naslijedila Organizaciju afričkog jedinstva (OAJ), utemeljenu 1963. nakon što je većina afričkih zemalja stekla nezavisnost.
Ugovor o partnerstvu potpisan je u srpnju 2000. u Lomeu, a stupio je na snagu u svibnju 2001. Njime je zamijenjena povelja OAJ-a.
Afrička je unija proglašena u ožujku 2001. na izvanrednom sastanku na vrhu OAJ-a, nakon duljeg pritiska libijskoga predsjednika Moamera Gadafija koji je od kolega afričkih čelnika zahtijevao da proglase AU i prije nego što ga ratificira 36 zemalja osnivačica.
Čelnici afričkih država okupili su se tada u libijskom gradu Sirtu kako bi razgovarali o stvaranju Afričke unije po uzoru na Europsku uniju.
Gadafijeva je ideja bila ambiciozna. On je zamislio federaciju od 53 afričkih zemalja, pod imenom Sjedinjenih Afričkih Država, ali taj se projekt od jednoga do drugog sastanka na vrhu sve više gubio.
Afrika je u srpnju 2002. utemeljila novu uniju koja će, umjesto dotadašnje neučinkovite Organizacije afričkog jedinstva pokušati na kontinentu iskorijeniti siromaštvo i zaustaviti ratove te okončati kršenja ljudskih prava i privući strane investicije.
"Više ne molimo pomoć. U interesu je svih da pomognu razvoju Afrike", rekao je tada zamjenik južnoafričkog ministra vanjskih poslova Aziz Pahad u govoru povodom stvaranja 53-člane Afričke unije.
Četiri osnovna tijela AU-a osnovana na prvome summitu u Južnoafričkoj Republici bila su: Konferencija, vrhovno tijelo koje okuplja šefove država i vlada, Komisija (u OAJ-u to je bio generalni sekretarijat) koja po uzoru na EU odgovara za primjenu politike Unije, izvršno Vijeće (ministara) i Odbor stalnih predstavnika (veleposlanika).
Na prvoj sjednici čelnika država zemalja Afričke unije usvojen je zaključak o stvaranju Vijeća za mir i sigurnost, po uzoru na Vijeće sigurnosti Ujedinjenih naroda, koje će imati mandat baviti se sukobima i pitanjima sigurnosti pod pokroviteljstvom AU-a.
AU, zamišljena kao Europska unija, zalagat će se, tada je najavljeno, za napredak i demokraciju kroz socijalnu, gospodarsku i regionalnu integraciju, a za razliku od OAJ-a, Afrička unija imat će pravo intervenirati u zemljama članicama u slučaju ratnih zločina ili genocida.
Vijeće može poslati mirovnu misiju u zemlju članicu, a može i preporučiti slanje snaga u slučaju genocida, ratnih zločina i zločina protiv čovječnosti.
Povelja OAJ-a naglašavala je načelo nemiješanja i poštovanja suvereniteta država, i često je kritizirana zbog nemoći u odnosu na ratove koji su razdirali kontinent.
UA je poslao mirovnu misiju od 2700 vojnika u Burundi u kojemu je od 1993. trajao građanski rat, ali misija je naišla na financijske poteškoće i 2004. je predana UN-u.
U zapadnosudanskome Darfuru, pobunjenome od veljače 2003. AU od 2004. ima misiju održavanja mira s više od sedam tisuća vojnika, a i ta misija danas ima financijske probleme pa je nedavno glavni tajnik UN-a objavio kako onamo kani poslati snage za brzu reakciju koje bi preuzele i tu AU-ovu misiju.
Nigerijac Olusegun Obasanjo predsjeda AU-om od srpnja 2004. a predsjednik Komisije je Malijac Alpha Omar Konare.
Od osnutka je stalno sjedište AU-a u etiopskome glavnom gradu Adis Abebi