Среди первых владельцев этого участка были статс-секретарь Екатерины II, сенатор Александр Храповицкий. Уже в 1790 году другим владельцем участка и выстроенного дома стал другой сенатор, гдовский уездный предводитель дворянства и директор Ассигнационного банка Петр Мятлев. Привлеченный Мятлевым талантливый архитектор Луиджи Руска произвел перестройку каменного строения и присоединил к участку здание соседнего купленного участка. Место стало большой усадьбой. В 1798 году усадьба Мятлева была куплена императором Павлом I за 100 тыс.рублей для последнего фаворита Екатерины II -светлейшего князя Платона Зубова. Это кажется странным, но новый император оставил Зубова инспектором артиллерии и даже купил ему экипажи. Но все же дни Зубова при дворе были сочтены, и в этом же году его «попросили» покинуть Россию, а основную часть собственности отобрали. Дворцовый комплекс перешел во владение супруги Павла I, матери будущих императоров Александра I и Николая I — императрице Марие Федоровне. Чуть позже благодаря заступничеству графа Кутайсова Павел I проявил великодушие и назначил Зубова директором Первого кадетского корпуса и произвел в генерала от инфантерии. Благодарностью Зубова стало личное участие в заговоре и убийстве Павла I в марте 1801 года.
В 1798 году Мария Федоровна передала в подарок усадьбу 36-летнему Алексею Григорьевичу Бобринскому, внебрачному сыну Екатерины II и ее третьего фаворита Григория Орлова. За 2 года до этого события Алексей Григорьевич был возведен в графское достоинство Павлом I, своим единоутробным братом. Алексей Григорьевич положил начало благородному роду Бобринских, многие представители которого занимали видные государственные посты, должности при дворе, занимались общественной и научной работой, были владельцами крупнейших земельных и финансовых активов. Екатерина II разместила крупнейшие денежные депозиты в Лондоне для сына, а также создала земельный банк активов, сравнимый с активами таких крупнейших землевладельцев того времени, как Абамелек-Лазаревых, Юсуповых, Демидовых. Алексей Григорьевич недолго прожил во дворце на Галерной и вскоре уехал в богородицкое имение под Тулой. Петербург он посещал только изредка. Спустя 7 лет после смерти Алексея Бобринского в 1813 году, его супруга Анна Владимировна Бобринская переехала во дворец на Галерной, расширила его и произвела новую отделку. Со временем дворец стал местом устроения салонов, балов, приемов, званных вечеров и маскарадов. Традиции «модного дома» продолжал и сын Алексея Григорьевича- Алексей Алексеевич Бобринский с супругой Софьей. Алексей Алексеевич был одним из первых фотографов по методу дагерротипии. Кроме того, был одним из учредителей компании по постройке царскосельской железной дороги. В это время салон стал настолько популярен, что его посещали Пушкин, поэты Василий Жуковский и Петр Вяземский, светлейший князь Александр Горчаков, польские дворяне Виельгорские. На балах бывал и император Николай I и императрица Александра Федоровна. Здесь императору была представлена Наталья Гончарова, с которой он даже танцевал.
Следующий этап жизни дворца продолжал сын Алексея Алексеевича-Александр Алексеевич Бобринский. Он являлся петербургским гражданским губернатором, в другое время возглавлял петербургское губернское дворянство и имел придворный чин обер-гофмейстера. При нем все традиции дома продолжались, он оставался центром притяжения. В Петербурге образовалось два модных дома светской жизни: дворец Бобринских на Галерной улице и особняк Вячеслава и Марии Тенишевых на Английской набережной. Дворец Бобринских также был открыт для широкой публики в плане выставки живописи, книг, оружия и мемориального кабинета Григория Орлова. В дворец на Галерную переехал с семьей и родной брат Александра Алексеевича-Владимир Алексеевич, служивший министром путей сообщения.
Последний этап (1903-1917 г.г.) жизни дворца связан с именем благороднейшего человека, историка-археолога, сенатора, министра земледелия Алексея Александровича Бобринского, женатого на старшей дочери крупного промышленника Александра Половцева, жившего в особняке на соседней улице. В этот период дворец на Галерной из модного дома светской жизни стал центром притяжения мыслящих политических и общественных фигур. Например там часто бывали публицист Владимир Гурко и председатель Совета министров Сергей Витте, которые обсуждали необходимость реформ «сверху», необходимость уменьшения рабочего дня до 8-ми часового, установления минимальной нормы зарплаты для рабочих правительством, участие рабочих в фабричных процессах. Кстати, именно эти вопросы и встали во главу угла во время революции 1905 года… Созданный в 1905 году «Отечественный Союз» во главе с Бобринским собирался во дворце. Участниками были высшее дворянство, генералитет, сенаторы, предводители дворянства, а принципами- «самодержавие, совещательный земский собор и борьба с конституционализмом». В ноябре 1911 года во дворце на Галерной прошло заседание из членов Государственной Думы, Государственного Совета, иерархов церкви, ученых и т.д. числом более 100 человек, на котором обсуждалась свобода церкви, свободы совести, взаимоначала власти иерархии и светских бюрократов, вопросы господствующего положения Православной церкви, необходимость признания государством права на «внеисповедное состояние»… С началом Первой мировой войны Бобринский предоставил дворец (как и многие в тот период, например владельцы дворца Белоссельких-Белозерских) под нужды лазарета Красного Креста. В 1917 году часть дворца была занята казармами революционных батальонов. После декрета о национализации Бобринский покинул Россию и умер во Франции в 1927 году.
Интересный факт: сын Алексея Александровича Бобринского — Алексей, участвуя в раскопках скифского кургана Солоха в 1912 году нашел знаменитый «золотой скифский гребень», который находится в Эрмитаже.