La création du centre a commencé en 1970 avec le soutien de l’UNESCO et des capitaux koweïtiens. Le centre a été officiellement inauguré en 1973. Son premier directeur était alors Mahmoud Abdou Zouber.
Selon le projet de recherche « Tombouctou Manuscripts Project » de l’Université du Cap, le nombre de manuscrits conservés est d’environ 30 0001. Selon le ministère malien de la culture, le Centre de documentation et de recherches Ahmed-Baba abrite entre 60 000 et 100 000 manuscrits. Le plus ancien manuscrit conservé est un manuel de droit islamique datant de 1204.
En janvier 2013, le maire de Tombouctou Halley Ousmane, qui se trouvait à Bamako affirme que le Centre de documentation et de recherches Ahmed-Baba a été brûlé par des groupes armés, en marge du conflit malien de 2012-2013, peu avant la prise de la ville par les forces franco-maliennes, le 28 janvier.
La chaîne Sky News n’a trouvé aucun incendie à l’une des bibliothèques où les journalistes sont entrés sans difficultés. Par contre ils ont trouvé « un peu de cendre » et des dizaines de boîtes vides (ce qui ferait quelques dizaines de manuscrits brulés).
Selon l’historien Bruce Hall, « le nouveau bâtiment de l’Institut Ahmed-Baba inauguré en 2009 ne contenait en réalité pas de documents précieux, le directeur ayant refusé de les y transférer afin d’obtenir davantage d’aides ».