Дом на Миллионной улице знаменитый архитектор Андрей Иванович Штакеншнейдер выкупил у титулярных советников, братьев Петровых (Михаила Егоровича и Дмитрия Егоровича) в 1851 году. Автору Ново-Михайловского дворца, дворца Белосельских-Белозерских на Невском, Фермерского дворца в парке Александрия, Каменноостровского дворца, дачи Долгорукого на Каменном острове, Малого и Старого Эрмитажа приглянулось это место. Однако большая часть сил зодчего была обращена на обустройство внутреннего пространства в сторону Мойки. В этот период началась надстройка флигелей во дворе, перепланировка внутренних помещений и разумеется улучшение фасада в стиле итальянского ренессанса, его флорентийского направления 16 века. Поначалу семья Штакеншнейдера жила в двухэтажном флигеле, который находился ближе к наб.реки Мойки, здесь жила и его семья и здесь же находилась его чертежно-архитектурная мастерская. Дом хозяина был отделан достаточно изящно, парадные комнаты выходили во двор, однако архитектором было устроено несколько интересных решений, которые придавали уют и красоту даже пространствам во дворе. Например, был устроен зимний сад, несколько воздушных арок, театр, окаймленный грациозной аркой… Во флигеле, который выходил на Миллионную улицу сдавались квартиры. Впоследствии, после проведенной реконструкции фасад дом приобрел благородный вид, а центральной его темой стали изящные лепные музы на барельефах. Дом называли «приютом муз». Месторасположение дома, его изящный фасад и конечно замечательное общество известного зодчего привлекали сюда много творческих людей, так что в период 1855-1862 г.г. в доме Штакеншнейдеров существовал известнейший литературный салон, а также художественные слушания по архитектуре.
На традиционных субботних вечерах в доме на Миллионной нередко бывали поэт, редактор журнала «Русское Слово» — Яков Полонский, поэт и переводчик на русский язык Гете, Барбье, Шиллера, Байрона, Шекспира — Владимир Бенедиктов, знаменитый автор «трилогии русской жизни» Иван Гончаров, а также Иван Тургенев и Федор Михайлович Достоевский. Дом посещали и начинающие и перспективные художники, актеры, архитекторы. В столовой, которая была немаленькая по размерам даже устраивались спектакли. В 1862 году Андрей Иванович Штакеншнейдер отошел полностью от дел из-за болезни. Это негативно повлияло и на всю семейную жизнь и быт. Семье пришлось продать дом.
Новые владельцы устроили здесь доходный дом, многое изменили, например построили многоэтажный флигель на месте так любимого Андреем Ивановичем зимнего сада. А в конце 19 века был надстроен 4-ым этажом корпус со стороны Миллионной улицы.