Les sources insistent sur les relations « compliquées » que le Ghana entretenait  avec les Berbères sahariens. La plupart du temps ces relations étaient pacifiques, avant tout commerciales : des Berbères étaient même  sujets du Ghana. Le point de friction récurrent entre les deux partenaires semble avoir été la ville commerciale d’Aoudaghost. Cette ville symbolise la tentation des deux parties de contrôler les ressources de l’autre à leur source pour se passer de son intermédiaire.

                 En 990, Adouaghost passe  brièvement sous le contrôle des berbères unifiés par un dénommé Tilutane. Il semble même qu’un roi du Ghana ait été assassiné à cette occasion. La ville est vite reprise, mais en 1054, les berbères unifiés par le mouvement almoravide d’Ibn Yasin la reprennent, avant de pousser en 1076 jusqu’à  Kumbi Saleh, qu’ils détruisent (le massacre de ses habitants reste semble-t-il un enjeu mémoriel important encore de nos jours). A cette date, les Almoravides contrôlent donc seul le commerce transsaharien. Le Ghana s’est replié vers le sud sans disparaître tout à fait : il retrouve son indépendance en 1087, quand le dernier chef Almoravide meurt.

               La structure fédérale du Ghana ne résista cependant pas à ces revers de fortune : les provinces qui avaient profité des guerres avec les berbères pour prendre leur indépendance (dont le Tekrour ou le Bambouk) refusèrent de retourner dans le giron du Ghana. Des troubles durables génèrent le commerce. Une nouvelle route commerciale évitant le Ghana et aboutissant à Walata fut ouverte en 1224. Privé de ses ressources, le Ghana fut remplacé par le Sosso, puis annexé en 1241 par l’empire du Mali.

Il semble en outre que la surexploitation des forêts ait suscité une sécheresse durable, poussant les Soninkés à l’exil. Cette sécheresse pourrait aussi correspondre à l’optimum climatique médiéval observé en Europe à cette période