Надо сказать, что земельный участок на углу наб. Фонтанки и Итальянской ул. оставался не застроенным до 1820-х г.г. И вся дальнейшая история зданий в этом месте -это история сплошных пристроек и перестроек. Застройка правого берега Фонтанки на этом месте началась во второй половине 1780-х г.г., тогда же началось первое возведение построек-в частности, левой части будущего дворца.
В 1799 году здание приобрела Мария Антоновна из рода Нарышкиных (Нарышкина Наталья Кирилловна была второй женой царя Алексея Михайловича, отца Петра I). Здание было расширено и было сделано несколько пристроек. Расширены были колонный, танцевальный зал, что придало дополнительного статуса дворцу. Неудивительно, что здесь стали устраиваться балы и светские вечера для цвета петербургского общества, а особняк в разное время посещали император Александр I и его брат Константин. Здесь были и писатели, поэты- Крылов, Жуковский, Вяземский, Гнедич.
В 1821—1822 г.г. новым владельцем стал Дмитрием Львовичем Нарышкиным. По проекту Карла России началась пристройка флигеля справа от старого дома. С 1846 года дворцом владели Софья Львовна Нарышкина и её супруг Пётр Павлович Шувалов, который являлся правнук знаменитого петровского генерал-фельдмаршала графа Петра Ивановича Шувалова, а также был крупным землевладельцем, сахарозаводчиком из младшей ветви Шуваловых, губернским предводителем дворянства. Естественно, что с приходом нового владельца дворец каждый раз преображался.
Другим этапом перестройки дворца были 1844-1859 г.г., когда по проекту архитектора Симона проводились значительные перестройки дворца к свадьбе наследницы владельцев дома Софьи Нарышкиной и Петра Шувалова. Фасады по проекту архитектора Ефимова и при участии художника Скотти приобрели форму итальянского Возрождения. Созданные архитектором Симоном парадная лестница с колоннами, Синяя, Красная и Золотые гостиные придали интерьерам просто царское великолепие.
ИНТЕРЕСНЫЙ ФАКТ: В истории дворца «нарышкинский» период оказался наиболее ярким и богатым воспоминаниями о концертах и блестящих балах, где звучала роговая музыка (исполнение музыки на охотничьих рогах- на каждом инструменте можно издать лишь один звук хроматического звукоряда), исполнявшаяся оркестром Нарышкина. По одной из легенд, когда 2 музыканта из этого оркестра попали в жандармерию и их спросили, кто они собственно такие, то один ответил: «Я нарышкинский «С» (нота — до)», другой — «Я нарышкинский Фис (нота — фа-диез)».
В 1918 году дворец был национализирован. В 1919—1923 г.г. здесь располагался Музей быта, затем Дом техники, а после 1965 года — Дом дружбы и мира с народами зарубежных стран. С 2006 года во дворце шла реставрация. 19 ноября 2013 года в нём официально открылся первый в России частный музей федерального масштаба — музей Фаберже. Здесь можно увидеть выставки картин, пасхальные ювелирные изделия, камнерезные изделия, коллекции русского фарфора XIX века, эмали, русские иконы, живопись, серебро.
ИНТЕРЕСНЫЙ ФАКТ: С 2013 года во дворце, на 49 лет сданном в аренду фонду «Связь времен», действует частный музей Виктора Вексельберга, в котором созданы обширные экспозиции огромного числа высокохудожественных ювелирных изделий. Западный флигель приобрел в собственность фонд «Связь времен» в 2016 году за 1 миллион рублей.
