При Петре I участок был отдан Михаилу Владимировичу Голицыну (не путать с соратником царя и генерал-фельдмаршалом Михаилом Михайловичем Голицыным). Петр I сразу установил статус набережных как место строительства особняков, выходящих на укрепленные берега Невы. Этот план продолжался и при Екатерине I и при Анне Иоанновне, которая своим указом вызвала князя Михаила Голицына из Москвы, чтобы он строил на участке каменный дом и укрепил свой участок прибрежной территории. Так, этим участком с домом стали владеть 2 поколения князей Голицыных. Набережная пользовалась успехом у английских подданых, торговавших с Россией. На «нижней набережной» они часто арендовали квартиры, поскольку здесь же были пришвартованы их корабли. С начала 19 века набережная стала называться «Английской», а в 1802 году новым владельцем дома стал меценат и коллекционер Николай Петрович Румянцев. Он был сыном того самого знаменитого генерал-фельдмаршала эпохи Екатерины II, который прославился взятием Кольберга, победой над турками при Ларге и Кагуле, приведшей к заключению долгожданного Кючук-Кайнарджийского мира. Николай Петрович служил чрезвычайным посланником России во Франкфурт-на-Майне, а в период владения домом на Английской набережной он был главой министерств коммерции, иностранных дел, позже даже Государственным канцлером Российской Империи и председателем Государственного Совета. Дом в это время очень преобразился, стал парадным настолько, что дом нередко посещал император Александр I. Интересно, что большую часть особняка Румянцева занимали бесчисленные хранилища, куда входили старинные рукописи и этнографические предметы, 14 тысяч минералов, старинные книги, античные и восточные монеты, картины. Румянцев очень интересовался историей и в доме работал «Румянцевский кружок» собравший известных историков-археологов.
В 1824 году канцлер Румянцев поставил перед архитектором Василием Глинкой задачу сделать фасад здания привлекательным и подчеркивающим статус владельца и имеющего исторические эпизоды в своем облике. Глинка закрыл фасад мощным портиком из 20 колонн, которые стояли на высоком цоколе. Портик был увенчан фронтоном, в котором находился горельеф скульптора Мартоса на тему «Аполлон-Мусагет-Мусагет на горе Парнас в окружении 9 муз и матери их Мнемозины», а также атрибуты наук и искусств. В 1826 году Румянцев скончался и согласно завещанию вся огромная коллекция и дом на Английской набережной перешли в собственность государства. По указу Николая I в 1828 году в доме был устроен музей Румянцева с коллекцией. Позднее музей вместе с громадной коллекцией в 1861 году был переведен в Москву.
В 1863 году у особняка появляется другой достойный владелец-писатель, журналист, переводчик, энциклопедист, знаток многих языков, редактор журнала «Сын Отечества» -Альберт Викентьевич Старчевский. При нем здании была произведена некоторая перепланировка, цель которой была сделать внутреннее пространство больше жилым, чем музейным и хранилищным как при Румянцеве. Приглашенный для этих целей архитектор Антон Иоганнович Цим предложил Старчевскому новую планировку с надстройкой 3 этажа и устройством трех маршевой парадной лестницы, где большая часть жилых помещений будет эксплуатироваться жильцами. Так особняк-музей стал доходным домом. Внешний фасад также претерпел изменения: увеличивается высота окон 3-его этажа. В 1882 году здание с привлекательным фасадом приобретает для своей жены Зинаиды Дмитриевны герцог и генерал Евгений Максимилианович Лейхтенбергский, ни больше ни меньше, а внук императора Николая I. В этом же году новая хозяйка особняка начала перестройку интерьеров пригласив модного архитектора Александра Степанова, который набил руку на модернизации петербургских дворцов техническими новшествами (системой водопровода, парового отопления, устройством локальных зон отдыха, театров и т.д.). Одним из ярких достижений Степанова была работа с обустройством Юсуповского дворца на Мойке. В 1899 году, в возрасте 43 лет Зинаида Дмитриевна умерла и дом перешел ее приемной дочери Долли. Через время Долли вышла замуж за Льва Михайловича Кочубея и их сын Евгений стал последним владельцем Румянцевского дома на набережной. После революции 1917 года здание было национализировано, разграблено и в нем в разное время находились: школа пионервожатых, «Союз металлистов», Леноблкоопсоюз, промкомбинат предприятий инвалидов, лаборатория сельхозрастений, управление кинофикации и т.п.