Бардо, прежде чем стать музеем, был дворцом Султанов и беев Туниса на протяжении долгого времени. Еще во времена династии Хафсидских Султанов (1236-1574) это место было выбрано для построения загородной резиденции правителей Туниса. Оно служило для отдыха и частных, без малейшего намека на официальность, визитов. В этих местах в XVI веке расселялись беженцы из Андалузии, изгнанные Фердинандом Арагонским и Изабеллой Кастильской из Испании. Беженцы принесли с собой богатый сельскохозяйственный опыт, особенно в плане выращивания фруктовых деревьев.
Благодаря этому опыту многие части Ифрикии (арабской Африки) превратились в цветущие, прохладные сады. Это касается и области вокруг города Туниса. Само происхождение слова Бардо непонятно. Обычно пишут, что оно происходит от слова, которое обозначало сад на местном диалекте арабского, или даже возводят к испанскому «прадо», тоже обозначавшему рай, райский сад. Действительно, путешественники уже в XVII веке пишут о садах, размещенных здесь. Другие же в том же XVII веке пишут, что слово «Бардо» переводится с «мавританского» как «прохлада».
После того как Тунис попал под власть Оттоманов (в 1574 г.), упоминания о Бардо прекращаются, вплоть до воцарения Мурадидов. Бей Мурад II (1665-1675) перенес сюда свою официальную резиденцию. Бардо оставался в собственности беев вплоть до установления французского протектората в 1881 г. Правители Туниса вложили немало сил и средств в расширение дворца и в его богатую декорацию. Они звали лучших местных и иностранных мастеров, импортировали из Европы (в особенности из Италии) материалы: мрамор, дерево, драгоценные и полудрагоценные камни и т. д.
Почти сразу после установления Протектората, 7 ноября 1882 года, был подписан декрет о создании в Тунисе музея. Дворец Бардо был оставлен семьей Беев и выбран как часть будущего музея (декрет от 25 марта 1885 года). Под музей отдавались женское крыло (гарем), построенное во времена последних двух беев — Мухаммеда (1855-1859) и Садока (1859-1882), и остатки резиденции принцев, примыкающих (если примыкали принцы — то написано правильно, примыкающих, если остатки — то примыкающие, если резиденция — то примыкающей) к основному дворцу.
Дворец принцев был скорее всего построен во времена Хаммуды-Паши (1782-1814). Следует, однако, заметить, что сама идея музея появилась ранее установления французского протектората, в конце 1870-х, во времена правительства Хайреддина, который был сторонником модернизации страны и открытия ее для Европы.
Начало музея, ядро его коллекции положило коллекция министра Хазандара. Это ядро стало быстро пополняться различными дарами, и, в особенности, находками во время раскопок, которые начали производиться в разных частях Туниса под эгидой департамента Древностей, который впоследствии стал Национальным институтом Искусства и Археологии.
