История дворца начинается в 1718 году, когда по приказу графа Эвре, было начато строительство особняка под руководством архитектора Армана-Клода Молле. Строительство длилось 4 года, итогом которого стало величественное здание в стиле французского регентства. Со стороны Елисейских полей был разбит большой сад с разнообразными видами деревьев, кустарников и цветов, с другой стороны дворец ограждает улица.После смерти графа Эвре, особняк был куплен королем Людовиком XV как подарок своей фаворитке мадам де Помпадур. Она, в свою очередь, завещала его родственникам короля. Владение отошло к ним в 1764 году. Людовик XVI вместе с приближенной свитой устраивал здесь сеансы черной магии и общения с духами. После короля им владел банкир Божон (он осуществил некоторые преобразование, главное из которых – галерея живописи), а затем герцогиня Бурбонская, но последним частным владельцем дворца был маршал Мурат.