В период правления Анны Иоанновны в этой части Петербурга, называемой «морской слободой» произошло несколько крупных пожаров, уничтоживших значительную часть Адмиралтейского района. После этого в большинстве случаев в этой местности стали селиться обеспеченные и предприимчивые граждане, которые стали сразу строить каменные дома. Два каменных дома в 1781 году приобрел один из влиятельнейших приближенных Екатерины II — граф и светлейший князь Александр Безбородко. Это был один из виднейших политиков во внешней сфере России, например он был одним из инициаторов окончательного решения Крымского вопроса, раздела Речи Посполитой. Хозяин большого числа земель в Малороссии, Слободского дворца в Москве, уже при Павле I был удостоен ранга Канцлера Российской империи. Но в 1781 году граф должен был постоянно присутствовать на заседаниях с участием императрицы.
Безбородко купил сразу 2 соседних больших каменных дома: дом Топоркова и подворье Курского монастыря. Знаменитый зодчий Джакомо Кваренги сделал архитектурные чертежи объединения 2 этих домов в единое пространство с увеличением этажности, а также богатое устройство внутренних интерьеров. Внутри дворца были устроены Аванзал, Зеркальный (Танцевальный) зал, парадную спальню, красную гостиную, Голубую гостиную, Большой Парадный зал, Церковный зал и др. Во дворец было свезено множество французских картин и изделий из черной бронзы, из-за чего дворец иногда называли Бронзовым дворцом. Были даже вещи из дворца Марии Антуанетты, например мебель, а парадная люстра была приобретена у герцога Орлеанского. Самым красивым был Аванзал с его расписными плафонами и дорогим искусственным мрамором. Танцевальный зал украшали богатая лепнина, расписные плафоны и колонны коринфского ордера. Овальный зал был оформлен характерными нишами, указывающими на принадлежность его хозяина к масонской ложе. В Парадном зале обильно представлен самоцветный камень, которым украшены стены, колонны, подоконники и двери..
После смерти канцлера в 1799 году, дом унаследовал его родной брат, сенатор Илья Безбородко. Большой дворец не знали как использовать и примерно через 10 лет его половину просто напросто стали сдавать в аренду. В 1824 году дом отошел фрейлине двора, княгине Клеопатре Ильиничне Лобановой-Ростовской вместе с братьями Кушелевыми. Как мы хорошо знаем, к этому времени Клеопатра Ильинична владела аналогичным по размеру знаменитым домов прямо возле Исаакиевского собора.
Через год, видимо по причине 2 владельцев у одного дома- он был продан Почтовому Департаменту за 350 тысяч рублей.
В 1837 году усилиями архитекторов Альберта Кавоса и Василия Глинки Угловой зал настолько изменили, что там образовалось пространство парадной лестницы со входом с Почтамтского переулка. Все дело в том, что это было сделано для прихожан устроенной на 3 этаже домовой церкви.
В 1873 году по проекту архитектора-академика Николая Любимова фасад дворца преобразился из характерного русского классицизма в модный ренессанс. Однако портик в центре здания с 4 гранитными колоннами остался неизменным.
В 1917 году дворец был национализирован, здесь разместились помещения управления Северо-Западного округа. Позже здесь Музей народной связи. В 1959 году был произведен частичный капитальный ремонт здания, но к 1974 году пришло в аварийное состояние и было закрыто. В 2001 году в связи с получением государственного статуса была произведена реконструкция и отделка. В здании был открыт «Музей Связи Попова».
