Первые упоминания о доме относятся к 1790 году, когда было начаты работы по устройству фундамента каменного дома.
Достоверно известно, что сами строительные работы по возведению дома начались на этом земельном участке в 1810 году, когда обер-гофмейстер Родион Александрович Кошелев приобрел угловую пустую часть участка и приступил к постройке каменного дома, намереваясь закончить ее к 1814 году. Кошелев являлся приближённым Александра I, влиятельным мистиком и масоном, вице-президентом Российского библейского общества, членом Государственного совета, председателем комиссии Государственного совета, дипломатом и действительным тайным советником. В 1812 году начавшаяся война с Наполеоном изменила планы Кошелева, поэтому он продал незавершенную постройку в стиле безордерного классицизма, другому тайному советнику из рода Голицыных, старшему брату «последнего московского вельможи» Сергея Голицына — ногофмейстеру князю Александру Михайловичу Голицыну. Голицын закончил строительство в 1814 году, а через 2 года начал отделку интерьеров. Александр Михайлович Голицын умер в 1821 году. Его наследник Михаил Александрович Голицын, библиофил и дипломат, в доме почти не жил, а сдавал его внаем графской чете Шуваловых. Впоследствии Шуваловы купили этот дом в 1834 году и превратили его в один из модных салонов высшего общества Петербурга.
Интересный факт:
Здесь в 1849 году знаменитым художником Карлом Брюлловым был написан портрет дочери Шуваловых — Софьи Андреевны.
