Дом расположен в уникальном месте: между набережной Невы и Марсовым полем. Первым строительством на этом месте было возведение дома по заказу немецкого купца Филиппа Гротена, которое осуществил знаменитый архитектор Джакомо Кваренги. Начавший строительство в 1784 году итальянский архитектор сразу сформировал объект с яркими чертами классицизма. Хотя фасад, выходящий на набережную имел достаточно сдержанные архитектурные формы. Следующей значимой вехой дома было приобретение особняка в 1790 году княгиней Екатериной Баратянской (Екатериной Гольштейн-Бекской, внучкой адмирала Николая Головина, командовавшего во времена Петра I Балтийским флотом в войне со Швецией). Екатерина Петровна Баратянская не смогла должным образом управлять домом, хотя имела планы сделать его доходным для состоятельной публики. Неудивительно, что она была вынуждена продать его в казну спустя всего 6 лет. В 1796 году императрица Екатерина II вручила особняк в качестве подарка опытному царедворцу из рода Салтыковых, ставшему в этом же 1796 году генерал-фельдмаршалом — Николаю Ивановичу Салтыкову. Салтыков был приближен ко двору, был управляющим дворцом (гофмейстером) Павла I, а также являлся воспитателем будущего императора Александра I и Великого князя Константина Павловича. Салтыков имел самые высшие государственные должности и при Екатерине II, и при Павле I, и при Александре I. В последний год своей жизни, в 1818 году Николай Иванович Салтыков сделал Суворовскую площадь рядом с особняком по проекту знаменитого Карла Росси, а также облагородил фасад, выходящий на площадь. Тогда же по предложению Росси, сюда на Суворовскую площадь перенесли с Царицынского луга на Мойке памятник полководцу Александру Суворову.
Наследниками умершего сановника стали его сыновья: Сергей, Иван и Дмитрий. Молодые наследники тоже внесли свой вклад в улучшение дома. Например, они построили домовую церковь в память об отце, а внутри дома сделали парадный Белый зал, вестибюль с парадной лестницей. Дальнейшим улучшением Белого зала занимался знаменитый зодчий Гаральд Боссе. Но, нужно признаться что все улучшения носили практический характер. Сыновья Салтыкова сделали дом более удобным и представительным. Поэтому начиная с 1825-х г.г. дом постоянно использовали под свои цели иностранные представительства и посольства. В 1829-1855 г.г. здание арендовало Австрийское посольство, после-посольство Дании, а с 1863 года и до революции 1917 года- посольство Великобритании.
Интересен княжеский герб рода Салтыковых на фасаде особняка. Два единорога держат щит, разделенный на 4 части. В этих частях- двуглавый орел, шестиугольная звезда, золотой шлем, и золотая шпага. Девиз рода звучит так: «За верность, усердие и труды». В нашлемниках, которые расположены поверх щита справа видна согнутая рука, держащая фельдмаршальский жезл слева рука, которая держит поднятую шпагу.