Beslutet att bilda AAU fattades vid ett möte med cheferna för de afrikanska högskolorna som hölls i detta syfte vid universitetet i Khartoum, Sudan, i september 1963. International Association of Universities hjälpte till med att planera och göra administrativa arrangemang för detta möte och inbjöds att samarbeta med den interimskommitté som inrättades för att utarbeta ett utkast till stadgar för AAU.
En grundande konferens med deltagande av cheferna eller högre företrädare för 34 afrikanska universitet hölls vid Mohammed V-universitetet i Rabat, Marocko, den 12 november 1967. Vid detta möte antogs konstitutionen och de första tjänstemännen och medlemmarna i AAU:s styrelse valdes.
AAU:s andra generalkonferens hölls vid Lovaniumuniversitetet i Kinshasa i november 1969 och nya tjänstemän och en ny styrelse valdes för att tillträda 1970. Ghanas regering vann därefter budet om att vara värd för AAU – och AAU:s sekretariat har haft sitt säte i Ghana sedan 1970. Med ett ursprungligt medlemsantal på 34 har föreningen nu över 360 medlemmar, som överbryggar språkliga och andra skiljelinjer.
Föreningen har tillhandahållit en plattform för forskning, reflektion, samråd, debatter, samarbete och samverkan i frågor som rör högre utbildning. Den har tillhandahållit en rad tjänster till sina medlemmar och tjänat den afrikanska högre utbildningen på olika sätt. Den har etablerat och ökat sin roll i Afrikas fem subregioner och kan därför med rimlig varsel samla expertgrupper inom relevanta områden från subregionerna.
Sammanslutningen har en unik förmåga att sammankalla ledare för högskoleinstitutioner och politiska beslutsfattare från alla delar av kontinenten och i viktiga frågor som rör afrikansk högre utbildning och utveckling, vilket visades vid workshopen om WTO/GATS som hölls i Ghana i april 2004. Föreningen är dessutom ledande när det gäller att identifiera nya frågor och ge stöd för att diskutera dem och underlätta lämpliga uppföljningsåtgärder från medlemmar, partner och andra intressenter.