1963年9月にスーダンのハルツーム大学で開催されたアフリカ高等教育機関長会議において、AAU設立が決定された。 国際大学連合はこの会議の企画と運営を支援し、AAUの規約を起草するために設立された暫定委員会に協力するよう要請されました。
アフリカの34大学の長または上級代表が出席する設立会議が1967年11月12日にモロッコのラバトのモハメド5世大学で開催されました。 この会議で規約が採択され、最初の役員とAAU執行委員会のメンバーが選出されました。
1969年11月にキンシャサのロバニアム大学で第2回AAU総会が開かれ、新しい役員と1970年に就任する新しい執行委員会が選出されました。 その後、ガーナ政府がAAUの開催地として落札し、1970年以来AAU事務局はガーナに置かれています。 当初34名だった会員数は、現在では言語やその他の隔たりを越えて360名を超えています。
協会は、高等教育に関わる問題について研究、考察、協議、議論、協力、協働のためのプラットフォームを提供しています。 また、会員に様々なサービスを提供し、様々な方法でアフリカの高等教育に貢献してきました。 アフリカの5つのサブリージョンにおいてその役割を確立し、増やしてきたため、合理的な通知により、サブリージョンから関連分野の専門家チームを集めることができる。
協会は、2004年4月にガーナで開催されたWTO/GATSワークショップで示されたように、アフリカ大陸のあらゆる地域から、またアフリカの高等教育と開発に関する重要問題について高等教育機関の指導者と政策立案者を招集する独自の能力を持っている。 さらに、当協会は、新たな問題を特定し、それを議論し、会員、パートナー、その他の利害関係者による適切なフォローアップ行動を促進するための支援においてリーダーシップを発揮している
。