Beslutningen om at oprette AAU blev truffet på et møde mellem lederne af de afrikanske videregående uddannelsesinstitutioner, der blev afholdt med dette formål for øje på universitetet i Khartoum, Sudan, i september 1963. Den internationale sammenslutning af universiteter hjalp med at planlægge og træffe administrative foranstaltninger til dette møde og blev opfordret til at samarbejde med det interimsudvalg, der blev nedsat for at udarbejde et udkast til en forfatning for AAU.
En stiftende konference med deltagelse af ledere eller ledende repræsentanter for 34 afrikanske universiteter blev afholdt på Mohammed V-universitetet i Rabat, Marokko, den 12. november 1967. På dette møde blev forfatningen vedtaget, og de første embedsmænd og medlemmer af AAU’s bestyrelse blev valgt.
AAU’s anden generalkonference blev afholdt på Lovanium-universitetet i Kinshasa i november 1969, og nye embedsmænd og en ny bestyrelse blev valgt til at træde i funktion i 1970. Ghanas regering vandt efterfølgende buddet om at være vært for AAU – og AAU’s sekretariat har siden 1970 været vært for AAU’s sekretariat i Ghana. Med et oprindeligt medlemstal på 34 har foreningen nu over 360 medlemmer, der går på tværs af sproglige og andre skel.
Sammenslutningen har skabt en platform for forskning, refleksion, høring, debat, samarbejde og samarbejde om spørgsmål vedrørende videregående uddannelse. Den har ydet en række tjenester til sine medlemmer og har tjent de afrikanske videregående uddannelser på en række forskellige måder. Den har etableret og øget sin rolle i de fem afrikanske subregioner og er således i stand til med rimeligt varsel at samle hold af eksperter på relevante områder fra subregionerne.
Sammenslutningen har en enestående evne til at samle ledere af højere uddannelsesinstitutioner og politiske beslutningstagere fra alle dele af kontinentet og om centrale spørgsmål vedrørende højere uddannelse og udvikling i Afrika, hvilket blev demonstreret på WTO/GATS workshoppen, der blev afholdt i Ghana i april 2004. Desuden yder foreningen lederskab med hensyn til at identificere nye spørgsmål og støtte til at drøfte dem og fremme passende opfølgningsforanstaltninger fra medlemmernes, partneres og andre interessenters side.