Het besluit tot oprichting van de AAU werd genomen op een bijeenkomst van de Hoofden van de Afrikaanse Instellingen voor Hoger Onderwijs, die daartoe in september 1963 werd gehouden aan de Universiteit van Khartoem, Soedan. De Internationale Vereniging van Universiteiten hielp bij de planning en administratieve regelingen voor deze vergadering en werd verzocht samen te werken met het Interim-comité dat was opgericht om een grondwet voor de AAU op te stellen.
Op 12 november 1967 werd aan de Mohammed V-Universiteit in Rabat, Marokko, een oprichtingsconferentie gehouden die werd bijgewoond door de hoofden of hooggeplaatste vertegenwoordigers van 34 Afrikaanse Universiteiten. Tijdens deze vergadering werd de grondwet aangenomen en werden de eerste officieren en leden van het dagelijks bestuur van de AAU gekozen.
De tweede Algemene Conferentie van de AAU werd gehouden in de Lovanium Universiteit te Kinshasa in november 1969 en er werden nieuwe officieren en een nieuw dagelijks bestuur gekozen die in 1970 in functie traden. De regering van Ghana won vervolgens de aanbesteding om als gastheer van de AAU op te treden – en het secretariaat van de AAU is sinds 1970 in Ghana gehuisvest. Aanvankelijk waren er 34 leden, maar nu telt de vereniging meer dan 360 leden, dwars door de taal- en andere scheidslijnen heen.
De vereniging heeft een platform geboden voor onderzoek, reflectie, overleg, debatten, samenwerking en samenwerking inzake kwesties die het hoger onderwijs betreffen. Zij heeft een reeks diensten verleend aan haar leden en het Afrikaans hoger onderwijs op verschillende manieren gediend. De vereniging heeft haar rol in de vijf subregio’s van Afrika gevestigd en uitgebreid, en is daardoor in staat om op redelijke termijn teams van deskundigen op relevante gebieden uit de subregio’s bijeen te brengen.
De vereniging beschikt over een uniek vermogen om institutionele leiders en beleidsmakers op het gebied van hoger onderwijs uit alle delen van het continent bijeen te brengen over belangrijke kwesties in verband met Afrikaans hoger onderwijs en ontwikkeling, zoals bleek tijdens de WTO/GATS-workshop die in april 2004 in Ghana werd gehouden. Daarnaast speelt de vereniging een leidende rol bij de identificatie van opkomende kwesties en de ondersteuning van het debat daarover en het faciliteren van passende vervolgmaatregelen door haar leden, partners en andere belanghebbenden.