O vytvoření AAU bylo rozhodnuto na setkání vedoucích afrických vysokoškolských institucí, které se za tímto účelem konalo v září 1963 na univerzitě v Chartúmu v Súdánu. Mezinárodní asociace univerzit pomáhala při plánování a administrativních přípravách tohoto setkání a byla vyzvána ke spolupráci s prozatímním výborem, který byl zřízen za účelem vypracování návrhu stanov AAU.
Dne 12. listopadu 1967 se na Univerzitě Mohammeda V. v marockém Rabatu konala zakládající konference, které se zúčastnili vedoucí nebo vysocí představitelé 34 afrických univerzit. Na tomto zasedání byly přijaty stanovy a zvoleni první funkcionáři a členové výkonné rady AAU.
Druhá generální konference AAU se konala na Lovanské univerzitě v Kinshase v listopadu 1969 a byli zvoleni noví funkcionáři a nová výkonná rada, kteří se ujali funkce v roce 1970. Vláda Ghany následně vyhrála výběrové řízení na hostitelskou zemi AAU – a od roku 1970 sídlí sekretariát AAU v Ghaně. Asociace měla zpočátku 34 členů, nyní jich má více než 360, a to napříč jazykovými a jinými rozdíly.
Asociace poskytla platformu pro výzkum, úvahy, konzultace, debaty, spolupráci a kooperaci v otázkách týkajících se vysokoškolského vzdělávání. Svým členům poskytovala řadu služeb a různými způsoby sloužila africkému vysokému školství. Zavedla a posílila svou roli v pěti subregionech Afriky, a je tak schopna v přiměřené době shromáždit týmy odborníků v příslušných oblastech ze subregionů.
Asociace má jedinečnou schopnost svolávat vedoucí představitele vysokoškolských institucí a tvůrce politik ze všech částí kontinentu a ke klíčovým otázkám souvisejícím s africkým vysokoškolským vzděláváním a rozvojem, jak ukázal seminář WTO/GATS, který se konal v Ghaně v dubnu 2004. Kromě toho asociace poskytuje vedoucí úlohu při identifikaci nově vznikajících otázek a podporu při jejich projednávání a usnadňování příslušných následných opatření svých členů, partnerů a dalších zúčastněných stran.
.