Особняк расположен на самой красивой улице Санкт-Петербурга — Большой Морской и сейчас называется «Домом композитора». Интересно, что буквально через дорогу находится «Дом архитектора». В 1776 году территорию с одноэтажным каменным зданием приобрёл граф, коллекционер и первооткрыватель «Слова о полку Игореве», «Поучения Владимира Мономаха», Лаврентьевской летописи и списка «Русской правды» — Алексей Иванович Мусин-Пушкин у действительного статского советника Сергея Сергеевича Гагарина. Через 4 года от Мусина-Пушкина дом достался одному из сыновей последнего гетмана Украины Разумовского — действительному тайному советнику и сенатору Петру Кирилловичу Разумовскому. Петр Кириллович был высокопоставленный государственный деятель, ведь кроме участия в русско-шведской войне 1789 года, он имел польские ордена Станислава и Белого орла, был произведен в генерал-поручики, а после вступления Павла I на престол был назначен присутствующим в Сенате.
В начале 19 века домом стала владеть семья государственного контролера России, действительного тайного советника и члена Государственного совета Алексея Захаровича Хитрово.
В 1834 году дом купил архитектор Огюст Монферран-создатель Исаакиевского собора и Александровской колонны. Но прожил Монферран в нем недолго и спустя 2 года продал особняк вместе с проектом переустройства владельцу соседнего дома владельцу уральских чугунноплавильных заводов — графу Павлу Николаевичу Демидову. к одноэтажному корпусу в классическом стиле, примыкает трехэтажная пристройка, в стиле итальянской виллы эпохи ренессанса. Асимметричный фасад стал иметь большую открытую террасу, выходящую на улицу Большую Морскую. Декоративные рельефы трехэтажного корпуса изображали сюжеты басен Лафонтена- на фрагменте:»Лев и мышь», «Обезьяна и дельфин» и «Две змеи». Над парапетом была установлена скульптура с гербом Демидова, где фигуры Славы держали картуш с гербом. Интересны также другие детали: парапет одноэтажной части особняка украсили 3 горельефных панно: «Франциск I у умирающего Леонардо да Винчи», «Карл I подаёт Тициану кисть» и «Микеланджело показывает папе Павлу III проект собора Святого Петра». Они должны были показывать тему мастеров искусств и правителей мира сего-меценатов.
Последней исторической вехой здания был 1873 год, когда сын умершего графа Демидова продал особняк княгине Вере Федоровне Гагариной. В тот же год по проекту архитектора Штрома дом частично был переделан. В частности, новый вход сделали на месте крайнего правого окна, а в левой части уничтожили двери с зонтиками.
