Первым хозяином построенного в 1779-1780 г.г. дома стал знаменитый Абрам Петрович Ганнибал, чьим крестным отцом был Петр I. Заслуженный любимец императора, сделавший немало для русского Флота, Абрам Петрович снискал к себе уважение широких слоев общества. В 1756 году он являлся главным военным инженером русской армии, а в 1759 году Абрам Петрович стал генерал-аншефом. Вместе с отцом в доме жили его сыновья Петр Абрамович Ганнибал и будущий командующий Черноморским флотом России и основатель Херсона в 1778 году Иван Абрамович Ганнибал. После смерти Абрама Петровича дом перешел к Ивану. Интересно, что у Абрама Петровича был и второй брак в уже зрелом возрасте, от которого родился Осип Ганнибал-дедушка знаменитого поэта Александра Пушкина (по материнской линии). Впоследствии Пушкин посвятит роман «Арап Петра Великого» своему прадеду Абраму Петровичу.
Вторым значимым этапом в жизни особняка стало владение зданием минским губернатором, тайным советником Иваном Николаевичем Неплюевым. После смерти вельможи в 1823 году, в доме поселилась его дочь Мария с мужем. В 1855 году собственником дома стал Петр Николаевич Трубецкой из знатного боярского рода литовско-русских князей, произошедших от Гедиминовичей. Здесь он стал жить со своей очаровательной женой Елизаветой Эсперовной Белосельской-Белозерской, которая являлась хозяйкой известнейшего парижского салона. Князь Петр Николаевич сразу обратился к архитектору Гаральду Боссе с просьбой о переделке всего дома. Прежде всего это касалось интерьеров и фасадов дома.
Третьим, значимым этапом в жизни особняка стало владение им чиновником министерства иностранных дел Василием Львовичем Нарышкиным.
Последним, кто владел особняком был Сергей Сомов, муж Натальи Васильевны Нарышкиной. Сомов покорил сердце красавицы своим умом и храбростью, и удалью, ведь он был поручиком Гусарского полка! Впоследствии Сергей Сомов участвовал в Первой и Гражданской войнах.
Интересный факт:
В 2012 году рабочие, вскрывающие полы во флигеле, между 2 и 3 этажами нашли клад, принадлежавший Нарышкиным.
