Летний дворец был построен 1712 году в стиле петровское барокко по проекту Доменико Трезини в 1710—1714 годах, куда Петр вьехал и жил там с Екатериной с мая по октябрь до самой смерти в 1725 году. Петр занимал нижний этаж, а помещения 2-ого этажа предназначались для Екатерины. Двухэтажный дворец состоит из 14 комнат и 2 кухонь. Стены в Летнем дворце достаточно тонкие, а в окнах — одинарные рамы. Строительством руководил немецкий архитектор Андреас Шлютер. 29 терракотовых рельефов на фасадах дворца представляют аллегории событий Северной войны. Интерьеры Летнего дворца оформляли по проектам, которые привез с собой из Парижа французский архитектор Жан-Батист Александр Леблон (ставший позже главным архитектором Санкт-Петербурга), и по рисункам его помощника французского скульптора Николя Пино. В этих проектах использованы ламбри — деревянные панно во всю высоту стен с лепкой, окрашенной в светлые тона и частичной позолотой, а также росписи, зеркала, камины и десюдепорты, падуги, живописные плафоны. Отдельные росписи выполняли русские мастера: живописец Александр Иванович Захаров, Илья Заварзин и Федор Матвеев.
После смерти Петра вплоть до середины XIX века дворец использовался в качестве летней резиденции для сановников и придворных: в 1815 году племянником и протеже Суворова, генералом от инфантерии — Александром Ивановичем Горчаковым, в 1816 году другим генералом от инфантерии, министром юстиции и членом Государственного совета — Дмитрием Ивановичем Лобановым-Ростовским , с 1822 года легендарным героем Отечественной войны 1812 года и Санкт-петербургским военным генерал-губернатором — Михаилом Андреевичем Милорадовичем, в 1830-е годы генералом при Особе Его Величества и министром финансов — Егором Францевичем Канкриным , и наконец, в 1840-е годы действительным тайным советником, статс-секретарем Его Императорского Величества Николая I и министром финансов-Федором Павловичем Вронченко. Генералы, министры и тайные советники жили здесь и в холодное время года, для чего им предоставлялся только 2-ой этаж.
При Александре I весной и летом в царскую резиденцию стали допускать публику; в 1840 году была составлена подробная опись «исторических достопамятностей», некоторые из них были реставрированы. В 1934 году в здании дворца был открыт историко-бытовой музей. Во время Великой Отечественной войны здание пострадало: были вырваны рамы, осыпалась штукатурка на потолках комнат и на фасаде, крыша была повреждена осколками снарядов. Реставрация дворца началась в 1946 году. В 1947 году музей был снова открыт для посещений. В 1950—1960-х годах была проведена полномасштабная реставрация с целью восстановить изначальный облик дворца, в том числе были заменены полы, изменена система отопления, восстановлена лепка, рисунок плафонов, возвращена обивка стен тканью.
