Az AAU létrehozásáról az afrikai felsőoktatási intézmények vezetőinek 1963 szeptemberében, a szudáni Kartúmi Egyetemen tartott találkozóján született döntés. Az Egyetemek Nemzetközi Szövetsége segített a találkozó megtervezésében és adminisztratív előkészületeiben, és felkérték, hogy működjön együtt az AAU alapszabályának kidolgozására létrehozott ideiglenes bizottsággal.
Az alapító konferenciát, amelyen 34 afrikai egyetem vezetője vagy vezető képviselője vett részt, 1967. november 12-én tartották a marokkói Rabatban, a Mohammed V. Egyetemen. Ezen az ülésen elfogadták az alapszabályt, és megválasztották az AAU végrehajtó bizottságának első tisztségviselőit és tagjait.
Az AAU második közgyűlését 1969 novemberében tartották a kinshasai Lovanium Egyetemen, ahol új tisztségviselőket és új végrehajtó bizottságot választottak, amely 1970-ben lépett hivatalba. A ghánai kormány ezt követően nyerte el az AAU házigazdai pályázatát – és az AAU titkárságának 1970 óta Ghána ad otthont. A kezdeti 34 tagból álló Szövetségnek ma már több mint 360 tagja van, a nyelvi és egyéb határokat átlépve.
A Szövetség platformot biztosított a felsőoktatással kapcsolatos kérdésekkel kapcsolatos kutatásnak, gondolkodásnak, konzultációnak, vitáknak, együttműködésnek és együttműködésnek. Számos szolgáltatást nyújtott tagjai számára, és számos módon szolgálta az afrikai felsőoktatást. Létrehozta és növelte szerepét Afrika öt alrégiójában, és így képes arra, hogy ésszerű határidőn belül a megfelelő területek szakértőiből álló csoportokat hívjon össze az alrégiókból.
A Szövetség egyedülálló módon képes összehívni a felsőoktatási intézmények vezetőit és a politikai döntéshozókat a kontinens minden részéből és az afrikai felsőoktatással és fejlődéssel kapcsolatos kulcsfontosságú kérdésekről, amint azt a 2004 áprilisában Ghánában tartott WTO/GATS workshop is bizonyította. Ezen túlmenően az Egyesület vezető szerepet játszik a felmerülő kérdések azonosításában, támogatja azok megvitatását és elősegíti a megfelelő nyomon követési intézkedéseket a tagok, a partnerek és más érdekeltek részéről.