Сейчас этот участок пересечения Гагаринской улицы и набережной Кутузова является одним из самых престижных и интересных мест Санкт-Петербурга. Но в конце XVIII века здесь вообщем-то ничего примечательного не было: постройки Запасного Сытного двора, водоходное училище, служебные флигели придворного ведомства и Прачечный двор. В 1774-1775 г.г. на угловом участке генерал-аншеф артиллерии Иван Иванович Меллер-Закомельский построил каменный дом, а затем купил и соседний участок, которым владел князь Сергей Петрович Трубецкой, в будущем участник Отечественной войны 1812 года, полковник гвардии и несостоявшийся «предводитель» декабристов. В 1790 году участок с каменным домом приобрел московский купец Дмитрий Образцов. После Образцовых владельцами дома с участком в 1823 году Министерство иностранных дел Пруссии для размещения там своего посольства. Через 9 лет, в 1832 году новым владельцем недвижимости стал знаменитый граф, директор департамента Государственного казначейства, Государственный контролёр России и член Государственного Совета Александр Григорьевич Кушелев-Безбородко. Он естественно затеял реновацию здания, для чего пригласил архитектора Боссе, а спустя 20 лет приобрел и второе здание на соседнем участке. Тогда же, примерно в 1857-1862 г.г. начался 2 этап переделки зданий в стиле итальянского ренессанса с помощью архитектора Шмидта. Шмидт обработал первый этаж гранитным рустом, большую часть фасада здания облицевал рускеальским мрамором, боковые части фасада на уровне 3 этажа отодвинул в сторону, расширил полуциркульные арки и украсил здание чугунными масками львов. Не менее интересны были решения во внутренней отделке, например, паркет Большого Танцевального зала был инкрустирован перламутром и дорогими породами дерева, а бильярдная была отделана тисненой кожей и дубом. В одном из залов был устроен громадный камин с изящной облицовкой.
Следующей вехой истории зданий в этом месте является их приобретение в 1873 году старшим сыном великого князя Константина Николаевича-великим князем Николаем Константиновичем.
Дом был обновлен, дополнительно благоустроен и «засиял в новом свете» настолько, что особняк стали называть «Малым Мраморным дворцом».
С 1881 года дом был приобретен императором Александром II для своей фаворитки, а впоследствии морганатической супруги — светлейшей княгини Екатерины Михайловны Долгоруковой. При Екатерине Михайловне некоторые помещения получили новое оформление, был устроен мемориальный кабинет Александра II, производились перестройки на 3 этаже с приспособлением под жилье детей и с новой отделкой части помещений в неоклассическом стиле. Зал «Пименовская галерея» был превращен в церковь, где был установлен алтарь.
Екатерина Павловна Леонард стала хозяйкой Малого Мраморного дворца в 1910 году вместо Долгоруковой, которая уехала жить заграницу. Правда, чтобы окупить большие затраты на покупку, новая владелица решила выстроить большой доходный дом на месте усадебного сада, театра, «цветочного дома» и оранжереи.
После революции 1917 года особняк был национализирован.