В Петровское время на этом участке реки Мойки находилась усадьба адмирала Апраксина, сподвижника Петра I. С 1734 года усадьба перешла во владение русского посла в Речи Посполитой Фридриха Левенвольде. Этот приближенный Анны Иоанновны разобрал старый дворец разобрал и построил здесь большой деревянный дворец с помощью архитектора Растрелли.
В 1744 году усадьба стала владением гетмана Войска Запорожского, генерала-фельдмаршала Кирилла Разумовского, брата тайного мужа царицы Елизаветы. В 1749 году Разумовский переехал в деревянный дворец на Мойку со своего дворца на набережной Невы и построил для начала домовую церковь Святой Троицы в западном крыле. В 1750 году старый деревянный дворец был разобран, и на его месте с 1752 году Разумовским началась постройка нового каменного дворца по проекту придворного архитектора Александра Филипповича Кокоринова. Довершил строительство в 1766 году французский архитектор Жан-Батист Валлен-Деламот. Поэтому дворец Разумовского заслуженно считался одним из лучших достижений зодчества своего периода, характеризующимся доминирующим в композиции строго симметричным построением всего ансамбля и центральным массивом с главным зданием и флигелем.
В скульптурном оформлении центрального фасада были широко использованы хорошо прорисованные барельефы.
От проезжей части набережной парадный двор отделяла высокая каменнаяздания ограда с монументальными воротами в центре. Фасады ограды и ворот членятся ионическими колоннами, а над средней более широкой проезжей частью антаблемент лишен архитрава и изогнут в полуциркульную дугу.
В 1829-1834 г.г. к зданию пристроены домовая церковь и двухэтажный лазаретный корпус. В 1842-1844 г.г. лазарет надстроен третьим этажом.
Внутренняя отделка дворца не сохранилась, кроме обработки перекрытия парадной лестницы, падуги которых украшены лепкой путти, держащими гирлянды цветов и двуглавыми орлами.
На территории бывшей усадьбы сохранились остатки сада, созданного в первой половине XVIII века. Со стороны Казанской улицы он огражден решеткой, исполненной по проекту знаменитого архитектора Воронихина.
