Der Beschluss zur Gründung der AAU wurde auf einer Tagung der Leiter der afrikanischen Hochschulen gefasst, die zu diesem Zweck im September 1963 an der Universität von Khartum im Sudan stattfand. Die International Association of Universities half bei der Planung und den administrativen Vorkehrungen für dieses Treffen und wurde eingeladen, mit dem Interimskomitee zusammenzuarbeiten, das mit der Ausarbeitung einer Verfassung für die AAU beauftragt wurde.
Eine Gründungskonferenz, an der die Leiter oder hochrangige Vertreter von 34 afrikanischen Universitäten teilnahmen, fand am 12. November 1967 an der Universität Mohammed V in Rabat, Marokko, statt. Die zweite Generalkonferenz der AAU fand im November 1969 an der Lovanium-Universität in Kinshasa statt, und es wurden neue Amtsträger und ein neuer Exekutivrat gewählt, die 1970 ihr Amt antraten. Die ghanaische Regierung erhielt den Zuschlag für den Sitz der AAU, und das Sekretariat der AAU ist seit 1970 in Ghana untergebracht. Die Vereinigung, die anfangs 34 Mitglieder zählte, hat heute über 360 Mitglieder, die über Sprach- und andere Grenzen hinweg zusammenarbeiten.
Die Vereinigung bietet eine Plattform für Forschung, Reflexion, Beratung, Debatten, Kooperation und Zusammenarbeit in Fragen der Hochschulbildung. Sie hat eine Reihe von Dienstleistungen für ihre Mitglieder erbracht und der afrikanischen Hochschulbildung auf vielfältige Weise gedient. Sie hat ihre Rolle in den fünf Subregionen Afrikas etabliert und ausgebaut und ist daher in der Lage, in angemessener Zeit Expertenteams aus den Subregionen zu relevanten Themen zusammenzustellen.
Die Vereinigung verfügt über die einzigartige Fähigkeit, Führungskräfte von Hochschuleinrichtungen und politische Entscheidungsträger aus allen Teilen des Kontinents zu zentralen Themen im Zusammenhang mit der afrikanischen Hochschulbildung und Entwicklung zusammenzubringen, wie der WTO/GATS-Workshop in Ghana im April 2004 gezeigt hat. Darüber hinaus übernimmt die Vereinigung eine führende Rolle bei der Identifizierung neuer Themen und unterstützt die Diskussion darüber sowie die Ergreifung geeigneter Folgemaßnahmen durch ihre Mitglieder, Partner und andere Interessengruppen.