A decisão de criar a AAU foi tomada numa reunião de Chefes de Instituições Africanas de Ensino Superior realizada para este fim na Universidade de Khartoum, Sudão, em Setembro de 1963. A Associação Internacional de Universidades ajudou no planeamento e na organização administrativa desta reunião e foi convidada a cooperar com o Comité Interino que foi criado para redigir uma constituição para a AAU.
Uma conferência de fundação em que participaram os Chefes ou representantes superiores de 34 Universidades Africanas realizou-se na Universidade Mohammed V em Rabat, Marrocos, no dia 12 de Novembro de 1967. Nesta reunião foi adoptada a constituição e eleitos os primeiros responsáveis e membros do Conselho Executivo da AAU.
A segunda Conferência Geral da AAU teve lugar na Universidade Lovanium em Kinshasa, em Novembro de 1969 e foram eleitos novos responsáveis e um novo Conselho Executivo para tomar posse em 1970. Posteriormente, o Governo de Gana ganhou a candidatura para acolher a AAU – e o Secretariado da AAU tem sido acolhido em Gana desde 1970. Com um número inicial de 34 membros, a Associação tem agora mais de 360 membros, atravessando a língua e outras divisões.
A Associação proporcionou uma plataforma para pesquisa, reflexão, consulta, debates, cooperação e colaboração em questões relativas ao ensino superior. A Associação tem prestado uma série de serviços aos seus membros e servido o ensino superior africano de diversas formas. Estabeleceu e aumentou o seu papel nas cinco sub-regiões de África e está assim apta a reunir, com uma antecedência razoável, equipas de peritos em áreas relevantes das sub-regiões.
A Associação possui uma capacidade única para reunir líderes institucionais do ensino superior e decisores políticos de todas as partes do continente e sobre questões-chave relacionadas com o ensino superior e o desenvolvimento africanos, como demonstrado no workshop OMC/GATS realizado no Gana em Abril de 2004. Além disso, a Associação fornece liderança na identificação de questões emergentes e apoio para debatê-las e facilitar acções de seguimento apropriadas pelos seus membros, parceiros e outras partes interessadas.