Päätös AAU:n perustamisesta tehtiin syyskuussa 1963 Khartumin yliopistossa Sudanissa pidetyssä Afrikan korkeakoulujen johtajien kokouksessa. Kansainvälinen yliopistojen liitto avusti kokouksen suunnittelussa ja hallinnollisissa järjestelyissä, ja sitä pyydettiin yhteistyöhön väliaikaisen komitean kanssa, joka perustettiin laatimaan AAU:n perussääntöä.
Perustamiskonferenssi, johon osallistui 34 afrikkalaisen korkeakoulun johtajat tai korkea-arvoiset edustajat, pidettiin Mohammed V -yliopistossa Rabatissa, Marokossa 12. marraskuuta 1967. Tässä kokouksessa hyväksyttiin perussääntö ja valittiin AAU:n ensimmäiset virkailijat ja johtokunnan jäsenet.
AAU:n toinen yleiskokous pidettiin Lovaniumin yliopistossa Kinshasassa marraskuussa 1969, ja siellä valittiin uudet virkailijat ja uusi johtokunta aloittamaan toimintansa vuonna 1970. Ghanan hallitus voitti sittemmin tarjouskilpailun AAU:n isäntämaaksi – ja AAU:n sihteeristö on sijainnut Ghanassa vuodesta 1970 lähtien. Yhdistyksen jäsenmäärä oli alun perin 34, mutta nykyään sillä on yli 360 jäsentä, jotka edustavat kieli- ja muita rajoja.
Yhdistys on tarjonnut foorumin tutkimukselle, pohdinnalle, konsultoinnille, keskusteluille, yhteistyölle ja yhteistoiminnalle korkea-asteen koulutukseen liittyvissä kysymyksissä. Se on tarjonnut erilaisia palveluja jäsenilleen ja palvellut afrikkalaista korkeakoulutusta monin eri tavoin. Se on vakiinnuttanut ja lisännyt asemaansa Afrikan viidellä osa-alueella ja pystyy näin ollen kohtuullisella varoitusajalla kokoamaan osa-alueilta asiantuntijaryhmiä asiaankuuluvilta aloilta.
Yhdistyksellä on ainutlaatuiset valmiudet kutsua koolle korkeakoulutuslaitosten johtajia ja poliittisia päättäjiä kaikkialta mantereelta Afrikan korkeakoulutukseen ja kehitykseen liittyvistä keskeisistä kysymyksistä, kuten osoitti Ghanassa huhtikuussa 2004 pidetty WTO:n ja GATS:n välinen työpaja. Lisäksi yhdistys toimii johtavana toimijana esiin nousevien kysymysten tunnistamisessa ja tukee niistä käytävää keskustelua sekä helpottaa jäseniensä, kumppaneidensa ja muiden sidosryhmien asianmukaisia jatkotoimia.