Decizia de a crea AAU a fost luată la o reuniune a șefilor instituțiilor africane de învățământ superior organizată în acest scop la Universitatea din Khartoum, Sudan, în septembrie 1963. Asociația Internațională a Universităților a ajutat la planificarea și organizarea administrativă a acestei reuniuni și a fost invitată să coopereze cu comitetul interimar care a fost înființat pentru a redacta o constituție pentru AAU.
O conferință de înființare la care au participat directorii sau reprezentanții de rang înalt ai 34 de universități africane a avut loc la Universitatea Mohammed V din Rabat, Maroc, la 12 noiembrie 1967. La această reuniune a fost adoptată constituția și au fost aleși primii ofițeri și membri ai Consiliului Executiv al AAU.
A doua Conferință Generală a AAU a avut loc la Universitatea Lovanium din Kinshasa în noiembrie 1969 și au fost aleși noi ofițeri și un nou Consiliu Executiv care au intrat în funcție în 1970. Guvernul din Ghana a câștigat ulterior licitația pentru a găzdui AAU – iar Secretariatul AAU a fost găzduit în Ghana din 1970. Cu un număr inițial de 34 de membri, Asociația are în prezent peste 360 de membri, care depășesc diferențele lingvistice și de altă natură.
Asociația a oferit o platformă pentru cercetare, reflecție, consultare, dezbateri, cooperare și colaborare pe teme legate de învățământul superior. Ea a oferit o serie de servicii membrilor săi și a servit învățământul superior african în diverse moduri. Ea și-a stabilit și și-a sporit rolul în cele cinci subregiuni ale Africii și este astfel capabilă, la un preaviz rezonabil, să reunească echipe de experți în domenii relevante din subregiuni.
Asociația posedă o capacitate unică de a convoca lideri instituționali din domeniul învățământului superior și factori de decizie politică din toate părțile continentului și cu privire la probleme-cheie legate de învățământul superior și dezvoltarea Africii, după cum s-a demonstrat în cadrul atelierului OMC/GATS organizat în Ghana în aprilie 2004. În plus, Asociația oferă un rol de lider în identificarea problemelor emergente și sprijin pentru dezbaterea acestora și facilitarea unor acțiuni de urmărire corespunzătoare din partea membrilor săi, a partenerilor și a altor părți interesate.