Одной из первых известных владельцев дома была графиня Наталья Соломоновна, сестра Николая Мартынова, отставного майора убившего на дуэле знаменитого поэта Михаила Лермонтова. В это время, в 1872 году домовладение представляло собой каменный дом на подвалах в 3 этажа с мансардой, с деревянным домом с мезонином во дворе, на каменных подвалах, с деревянной пристройкой. В 1896 году постоянно живший в Ницце граф Альфонс Ксаверий Леон Альфонсович де Турдоне унаследовал домовладение.
В 1905 году домовладение приобрел Семен Ильич Пеняков, присяжный поверенный и присяжный стряпчий, владевший также домом на Конной ул. и домом по Одесской ул. Спустя 4 года Пеняков построил на участке каменный дом с мансардой. Занимался архитектурным проектом профессор Каунасского университета Сонгайло Михаил Александрович. Построенный дом Пеняков очень расхвалил, посчитал его настоящим шедевром. Он решил не сдавать «поквартирно» дом и сдал его в аренду на 20 лет под лечебницу Петербургского частного гинекологического института, оставив за собой в пользовании 18 комнат на 4 этаже.
Архитектура дома очень разноплановая. С точки зрения архитектурных форм дом очень редкий. В отделке фасадов — формы, присущие ретроспективному необарокко, также модерну, и даже эклектики. Так, в «стиле Растрелли» выдержаны наличники в бельэтаже, большая часть окон имеет тяжелые подоконники с балюстрами, А о модерне напоминают плавно скругленные угловые эркеры, на главном фасаде они имеют вторящие их изгибам разорванные фронтоны. Центр главного фасада подчеркивают 2 одноярусных эркера 2-го этажа, над которыми находятся 6 колонн с высоким антаблементом. По антресольному этажу — высокий фигурный щипец с арочными окнами, вписанными в крылья.
