Особняк Лобанова-Ростовского находится в самом центре Санкт-Петербурга и имеет форму треугольника, одна из сторон которого выходит на Исаакиевскую площадь, вторая-на Вознесенский проспект, а третья-на Адмиралтейский проспект. В 1817-1820 г.г. дворянский особняк был возведен для именитого князя, генерал-майора и основателя петербургского Императорского яхт-клуба Александра Яковлевича Лобанова-Ростовского. Строительством занимался знаменитый французский архитектор Огюст Монферран, который уже к этому времени выиграл конкурс на перестройку Исаакиевского собора (4-ый этап строительства собора). Его проект получил Высочайшее одобрение императора Александра I.
По проекту Монферрана в 1817 году на участке земли 5400м2 началось строительство (рытье котлована, забивание свай и устройство фундамента) каменного особняка, которое планировалось завершить к 1819 году. Первый проект особняка напоминал проект Карла Росси для Михайловского дворца. Ленточный фундамент, поддерживающий здание строился на болотистом и ненадежном грунте, что проистекало от близости к Неве. Поддерживали фундамент большое количество свай из бутовой плиты, вбитых на глубину около 3 метров. Монферран внимательно наблюдал за поведением вбитых свай, потому что этот опыт должен был составить правильное устройство для колоссального по своей тяжести и размерам строящегося Исаакиевского собора.
Монферран успевал заниматься обоими проектами. Также особое внимание архитектор уделял межэтажным перекрытиям из дуба, которые в свою очередь поддерживались перекрытиями из красной сосны. Кровлю из черного железа поставляли Яковлевские заводы, а бронзовые верхние и нижние части колонн вестибюля особняка отливались заводом Берда. Лестничные перила делались из чугуна.
Поскольку строительство и управление особняка было отдано князем своей супруге Клеопатре Ильиничне Лобановой-Ростовской, то в самом начале строительства уже было определено использование построенного дома. Он должен был сразу стать доходным. Неудивительно, что сразу после окончания строительства в доме сразу появилось много коммерческих помещений на нижнем этаже: Комиссия по строительству Исаакиевского собора, итальянский художественный магазин братьев Леончини, военный провиантский департамент, магазин литографий с апартаментами литографа Петерса, мучная лавка, портерная, сапожная мастерская, магазин перчаток.
Этажом выше арендаторами сразу стали чиновники военного Провиантского департамента, устроители концертов «с видом на Исаакиевскую площадь», живописец Сур из Гамбурга (который периодически проводил большие стереоскопические показы косторамы), закройщик Шпицбарт, управляющий домом, мастер живописи Мартушевич. Дом стал сразу популярным местом. На представлениях Сур показывал зрителям панораму сражения Дария с Александром Македонским, а художник Анжело Тозелли демонстрировал публике сменяющие друг друга рисунки Иерусалима со звуковым сопровождением, то господин Сен-Мор проводил литературные вечера читая Мольера и Вольтера. Часть помещений 4-ого этажа занимала княгиня Клеопатра Ильинична.
Скульптурные львы, выполненные Паоло Трискорни у парадного входа, стали легендарными после тотального наводнения 7 ноября 1824 года. На одного из львов взобрался некий Яковлев, спасающейся от наводнения и просидевший долгое время, пока вода не начала спадать. Этот сюжет-легенда был взят Пушкиным и перенесен в поэму «Медный всадник», когда главный герой аналогичным образом спасается от наводнения…
Через 9 лет после начала функционирования особняка как доходного дома семья Лобановых-Ростовских тем не менее стала испытывать большие финансовые затруднения. Это обстоятельство вынудило семью сдать первые два этажа для Военного ведомства за небольшую, но стабильную цену в 63 тыс.рублей в год. Министерство заняло почти 2\3 дома в 114 комнатах. А спустя год князь Александр Яковлевич Лобанов-Ростовский и вовсе решился на экзотический поступок и разыграть знаковый для города особняк в лотерею, выпустив для этих целей 1 млн.билетов стоимостью 1 рубль каждый. По задумке князя, один из счастливчиков за 1 рубль должен был стать новым владельцем здания. Император Николай I узнав о таком легкомысленном поступке лотерею запретил и выкупил здание в казну за сумму, немного превышающую 1 млн.рублей. За библиотеку князя, перешедшую в казну князю была назначена пожизненная пенсия. В доме окончательно разместилось военное ведомство.