Этот дом связан с большим количеством знатных фамилий. Первым владельцем участка был сподвижник Петра I генерал Алексей Иванович Тараканов. Еще при Елизавете Петровне генерал построил здесь в 1740-х годах деревянный дом, а службу продолжал и при Петре II и Анне Иоанновне, участвовал в русско-турецкой войне 1736 года под командованием генерал-фельмаршала Миниха. Наследник Тараканова, сын Михаил продал дом старшей дочери князя Гагарина. Та в свою очередь в 1768 году продала дом супруге Адодурова, тайного советника и куратора Московского университета. После его смерти наследник продал особняк доверенному лицу Екатерины II, неподкупному генерал-прокурору, ведавшему расходованием казенных средств. Вяземский купил этот особняк по поручению Екатерины II для резиденции столичного обер-полицмейстера , сенатора Дмитрия Волкова. Через год после отставки Волкова император Павел I передал особняк генералу, ничем не проявившим себя, но снискавшим полное доверие императора — Петру Обольянинову. После убийства Павла I генерал продал дом в 1801 году и в тот же год уехал в свое имение. У дома появился новый хозяин -супруга дипломата Степана Колычева. В 1804 году особняк стал собственностью княгини Головкиной. В 1819 году владелица дома-генеральша Маргарита Раевская. В 1834 году домом владеет Наталья Обрескова, урожденная Шереметьева. В 1847 году Екатерина Дмитриевна Обрескова вышедшая замуж за греческого посла князя Суццо продала дом младшему сыну знаменитого русского историка Николая Карамзина-коллежскому асессору и видному общественному деятелю Владимиру Николаевичу Карамзину. Посредством архитектора Боссе Карамзин надстроил 2-ой этаж, который удачно вписался в существовавший архитектурный облик.
Очень интересен следующий владелец особняка-Михаил Тариэлович Лорис-Меликов. В последние месяцы царствования Александра II Михаил Тариэлович был министром внутренних дел с чрезвычайно расширенными полномочиями. фактически в этот период он стал вторым человеком в государстве. Такая ситуация возникла из-за нескольких покушений на Александра II, самое громкое из которых стало покушение истопником Халтуриным на жизнь императора прямо в Зимнем дворце. К этому времени у Михаила Тариэловича уже был большой опыт боевых действий в Чечне, Дагестане против Шамиля и Хаджи-Мурата, в Крыму в Восточной войне с Турцией, в русско-турецкой войне 1877-1878 г.г., был астраханскими самарским губернатором с неограниченными полномочиями при борьбе с разразившейся чумой в Поволжье в 1879 году, был временным генерал-губернатором в Харьковской области в обуздании народовольцев, незадолго до этого убивших губернатора князя Кропоткина. Михаил Тариэлович прославился как человек порядочный, имеющий большое количество по-настоящему заслуженных наград, «диктатор сердца», чиновник, бережно расходовавший государственные деньги и военный, не прибегавший к огульным репрессиям. Так вот, после взрыва в Зимнем дворце Михаил Тариэлович был назначен императором главным начальником учрежденной 12 февраля 1880 года Верховной распорядительной комиссии, целью которой было усиление репрессий по отношению к революционерам и ускорения производства дел по политическим преступлениям. Однако Михаил Тариэлович как человек образованный и разумный пытался разобраться в причинах нарастающего политического хаоса. Поэтому в разные концы России по его указанию были снаряжены сенатские комиссии, которые на местах смогли определить что главной причиной политического недовольства стала незавершенность таких реформ как отмена крепостного права в 1861 году и денежная реформа 1862-1863 г.г. В первом случае сохранилась подушная подать, во втором случае у государства не хватало золота и серебра для размена бумажных денег. Став министром внутренних дел Михаил Тариэлович не смог справиться с террористической волной, захлестнувшей Россию. В 1881 году после убийства императора Александра II и осуждения новым императором Александром III либеральной политики Лорис-Меликова, последний вышел в отставку и съехал из дома Карамзина.
Новый владелец дома барон Стремфельт прожил с семьей в особняке до 1895 года. В 1896 году уже новым владельцем особняка стал Николай Александрович Безак, проявивший себя в Крымской войне 1853-1856 г.г., и Русско-турецкой войне 1877-1878 г.г. После его смерти его жена и сыновья продали дом Любови Николавне Коровиной, супруге Петра Федоровича Коровина. Коровины являлись именитыми купцами, торговавшими мануфактурой в Апраксином Дворе, им принадлежало немало домов в городе. Любовь Николаевна купив дом, полностью изменила все его интерьеры: гостиная дома была оформлена в стиле Людовика XVI, библиотека в помпейском стиле, будуары в мавританском стиле, а столовая в стиле модерн. После революции 1917 года особняк был национализирован. В нем в разное время находились: мобилизационный пункт, народный суд, демонстрационные залы Общества старого Петербурга, проектный институт, строительный трест, жилищное управление и т.п.
