Царь Петр часто дарил земли своим сподвижникам. Не исключением был и его сподвижник Григорий Юсупов, которому в 1724 году Пётр I подарил участок земли, на котором был построен деревянный особняк по проекту архитектора Доменико Трезини.
Впоследствии усадьба действительного тайного советника и князя Бориса Григорьевича Юсупова (сына генерал-аншефа Григория Юсупова) на реке Фонтанке в середине XVIII века была одной из богатейших в городе. На участке был построен буквой «Н» роскошный барочный дворец. От реки усадьбу отделяла трельяжная решетка. По сторонам средней подъездной аллеи, ведущей от дворца к Садовой улице, располагалось по большому боскету, центры которых отмечали пруды фигурных очертаний, соединённые между собой каналом. Через канал по центральной оси комплекса переброшен мост. У Фонтанки перед оранжереей существовал небольшой партерный садик с беседками.
В 1790-х годах архитектором Джакомо Кваренги дворец перестраивался для князя Николая Борисовича Юсупова. При этом Кваренги не только сохранил повышенный центр дворца и более низкие крылья, но и полностью сменил в духе времени на «классицистическое оформление» декоративное решение фасадов и интерьеров. Вместо 2 фигурных крылец он соорудил по центру фасада открытый тамбур с ведущим к нему пандусом. Угловые ризалиты стали стянуты с повышенным средним лоджиями, украшенными тосканскими колоннами. Противоположный садовый фасад украсился шестиколонным портиком на террасе в уровне 1 этажа с ведущей к нему широкой одномаршевой лестницей. Парк перепланировали в пейзажном стиле, на озере насыпали искусственный островок.
В 1836—1840 годах была изготовлена решётка, которая ограждает здание и прилегающий к нему сад со стороны Садовой улицы; её создали инженеры Карл Кольман и Василий Трофимович.
С 1 ноября 1810 года — первое здание Института Корпуса инженеров путей сообщения. Ныне его занимает Петербургский государственный университет путей сообщения.
