После рождения сына, император Павел I сразу решил ежегодно откладывать денежные средства, чтобы к совершеннолетию великий князь Михаил Павлович мог жить по-царски. После убийства Павла I в 1801 году, идею строительства поддержал его сын император Александр I, который являлся старшим братом великому князю. Знаменитый архитектор Карл России работал над проектом дворца с 1817 года. Предполагалось, что к дворцу будет прилегать обширный участок, поэтому в начале строительства в этих целях в бывший садах Инженерного замка начали сносить парники и оранжереи. В апреле 1819 года произошла торжественная закладка дворца. До 1823 года здание было построено, а до конца 1825 года закончена его внутренняя отделка. Приемку дворца осуществил лично Александр I, он же передал сам дворец младшему брату на праве «вечного и потомственного владения». В возрасте 27 лет великий князь Михаил Павлович поселился во дворце вместе с супругой Еленой Павловной.
На постройку дворца из казны было потрачено почти 8 млн.рублей, но интерьеры дворца все-равно его хозяин постоянно перестраивал, привлекая знаменитых архитекторов. Сначало ими занимался мастер эклектики Андрей Штакеншнейдер, чуть позже академик Гаральд Боссе. Постоянная работа над сменой интерьеров понятна- великий князь постоянно принимал во дворце и военных и гражданских чиновников будучи главным начальником артиллерии в чине генерала-фельдцейхмейстера. В молодости великий князь участвовал в знаменитом Заграничном походе русской армии против Наполеона, позже в период междуцарствия участвовал в подавлении восстания декабристов в 1825 году, затем в Русско-турецкой войне 1828-1829 г.г. и походе по подавлению польского восстания 1830-1831 г.г.
В 1849 году в возрасте всего 51 года великий князь Михаил Павлович скончался. Многие историки считают, что причиной стало его глубокое нервное расстройство после смерти в 1845 году его 19-летней дочери Елизаветы во время родов. Супруга великого князя Елена Павловна не только сохранила традиции широкого общения с обществом, но и в память о супруге устраивала во дворце салоны. В итоге через некоторое время во дворце возник такой вид собрания как литературный салон.
Его посещали государственные деятели, включая самого императора Николая I, министр юстиции граф Панин, министр иностранных дел князь Горчаков, директор публичной библиотеки барон Модест Корф, представители польской знати братья Виельгорские, писатель Василий Жуковский, философ Владимир Одоевский, литературный критик Петр Вяземский , исследователь-анатом Кал Бэр, астроном Василий Струве, филолог-историк Александр Востоков, знаменитый хирург Николай Пирогов, художник Иван Айвазовский, скульптор Николай Пименов, исторический живописец Тимофей Нефф, акварелист Петр Соколов.
Отчасти традиции салона продолжала дочь Елены Павловны-Екатерина Михайловна. Заключительный этап в жизни дворца наступил в 1894 году, когда внуки его первого владельца Михаила Павловича продали его в казну. Через год император Николай II своим указом учредил в здании «Русский музей императора Александра III». Последним архитектором работавшим с дворцовыми интерьерами под новую задачу в 1895-1898 г.г. был Василий Свиньин.
