Это один из нескольких дворцов фаворита Елизаветы Петровны, действительного тайного советника, генерал-адъютанта, основателя Московского университета, первого президента Академии художеств — Ивана Ивановича Шувалова. За свои старания в области наук и просвещения Шувалова называли «министром новорожденного русского просвещения». После воцарения Екатерины II Шувалов оказался в опале, из всех его многочисленных должностей единственное что ему удалось сохранить, это кураторство Московского университета. Шувалов был собирателем предметов искусства. Иван Иванович использовал дворец в этом месте больше как некую картинную галерею полотен известных живописцев. Интересно, что при жизни значительную часть коллекции он передал Академии художеств, а другую -Эрмитажу.
Дворец был построен в стиле «елизаветинского барокко» в 1753-1755 г.г. при непосредственном участии яркого представителя архитектуры этого периода — Саввы Ивановича Чевакинского. Чевакинский построил не только этот дворец, но и спроектировал особняк Шереметевых на Фонтанке и дом Павла Шереметева на Миллионной. Следующим владельцем дворца стал один из доверенных сановников Екатерины II, генерал-прокурор Сената, контролировавший расходы государственных финансов и прослывший «неподкупным»-Александр Алексеевич Вяземский. В 1775 году дворец подвергся перестройке, а интерьеры дворца были переделаны под нового хозяина. В 1797 году здание было выкуплено для Министерства юстиции. После революции, с 1918 года здесь обосновался «музей гигиены».
Интересный факт: в 19 веке переулок ведущий к Невскому пр. (сейчас ул. Малая Садовая) назывался Шувалов переулок.
