Decyzja o utworzeniu AAU została podjęta na spotkaniu szefów afrykańskich instytucji szkolnictwa wyższego, które odbyło się w tym celu na Uniwersytecie w Chartumie, Sudan we wrześniu 1963 roku. Międzynarodowe Stowarzyszenie Uniwersytetów pomogło w planowaniu i dokonaniu ustaleń administracyjnych dla tego spotkania i został zaproszony do współpracy z Komitetem Tymczasowym, który został powołany do opracowania projektu konstytucji dla AAU.
Konferencja założycielska z udziałem szefów lub starszych przedstawicieli 34 afrykańskich uniwersytetów odbyła się na Uniwersytecie Mohammeda V w Rabacie, Maroko, 12 listopada 1967 roku. Na tym spotkaniu konstytucja została przyjęta i wybrano pierwszych oficerów i członków zarządu AAU.
Druga konferencja generalna AAU odbyła się na Uniwersytecie Lovanium w Kinszasie w listopadzie 1969 roku i wybrano nowych oficerów i nowy zarząd, który objął urząd w 1970 roku. Rząd Ghany wygrał następnie przetarg na gospodarza AAU – i Sekretariat AAU mieści się w Ghanie od 1970 roku. Z początkową liczbą 34 członków, Stowarzyszenie ma obecnie ponad 360 członków, ponad podziałami językowymi i innymi.
Stowarzyszenie zapewniło platformę dla badań, refleksji, konsultacji, debat, współpracy i współdziałania w kwestiach dotyczących szkolnictwa wyższego. Zapewniła szereg usług dla swoich członków i służył afrykańskiego szkolnictwa wyższego w różnych sposobów. It has established and increased its role in the five sub-regions of Africa and is thus able, at reasonable notice, to assemble teams of experts in relevant fields from the sub-regions.
The Association possesses a unique capacity to convene higher education institutional leaders and policy-makers from all parts of the continent and on key issues related to African higher education and development, as demonstrated in the WTO/GATS workshop held in Ghana in April 2004. Ponadto, Stowarzyszenie zapewnia przywództwo w identyfikacji pojawiających się kwestii i wsparcie w debatowaniu nad nimi oraz ułatwia podejmowanie odpowiednich działań następczych przez swoich członków, partnerów i inne zainteresowane strony.
.