в 1715 году дом купил, поселившийся в Петербурге, господарь Молдавского княжества, светлейший князь России и Священной Римской империи, сенатор и тайный советник Дмитрий Кантемир. Это был один из ближайших сподвижников Петра, который доказал на деле свою преданность России в тяжелый для ее судьбы Прутский поход летом 1711 года. Занимался строительством дворца для Кантемира знаменитый зодчий Растрелли в 1720-1725 г.г.. Растрелли спроектировал дворец с 2 флигелями, что соответствовало стилю «петровского барокко». Но Дмитрий Кантемир так и не дождался окончания строительства и в 1723 году после его смерти недостроенный дворец достался его вдове Анастасии Ивановне. Позже помещения стали сдаваться внаем и одну из частей дома снимал знаменитый генерал-фельдмаршал времен правления Анны Иоанновны — Бурхард Миних. В 1755—1757 г.г. в особняке располагалось английское посольство, при котором проживал его секретарь будущий польский король Станислав Понятовский. В 1762 года братья Сергей и Матвей Кантемиры продали дом генерал-прокурору Сената Александру Ивановичу Глебову, а через 2 года особняк по купчей от Глебова перешёл к канцлеру Российской империи при Елизавете Петровне, графу Алексею Петровичу Бестужеву-Рюмину. Для него же, вернувшемуся из ссылки в 1762 году Екатерина II выкупила у Кантемиров особняк. После смерти Бестужева-Рюмина в 1768 году его наследники продали дом младшему брата фаворита Екатерины II -Владимиру Григорьевичу Орлову. После своего переезда в Москву Орлов продал дом богачу, меломану, камергеру Павлу Скавронскому (внучатому племяннику Екатерины I- Марты Скавронской). В 1797 году Мария Николаевна Скавронская продала часть дома (по Миллионной улице) знаменитому русскому композитору директору Капеллы — Дмитрию Степановичу Бортнянскому.
После смерти Скавронской основная часть особняка перешла по наследству Екатерине Павловне Багратион, урождённой графине Скавронской — жене полководца Багратиона. Следующим владельцем дома был обер-камергер и знаменитый вице-адмирал Российского императорского флота Юлий Помпеевич Литта, который продал его министерству финансов после смерти супруги, сам поселившись в корпусе на Миллионной улице. В 1868 году дом у государства выкупил купец Николай Дмитриевич Лоховицкий, который переделал фасад со стороны Миллионной улицы и возвёл дворовые корпуса. Купец Лоховицкий сделал особняк фактически доходным домом, где одним из квартиросъемщиков в это время был военный министр и военный, последним носившим звание генерала-фельдмаршала в России- Дмитрий Алексеевич Милютин. В 1875 году особняк купил меценат и лесоторговец Илья Громов, при котором все корпуса были объединены в один комплекс. Также везде на фасаде был поменян декор, а со стороны набережной были сделаны два тяжеловесных эркера, поддерживаемых кариатидами, выполненных в «египетского стиля». На углу же Мраморного переулка и Миллионной улицы фасад украсила группа из 3 женских фигур, символизирующих искусство, мореплавание и плодородие. В 1882 году после смерти Громова владельцем особняка стал Владимир Александрович Ратьков-Рожнов. Это был не только бывший управляющий делами семьи Громовых, но и впоследствии промышленник, сенатор и действительный тайный советник. Неудивительно, что здание во второй раз стало собственностью министерства финансов в результате продажи. Чуть позже здесь уже располагалось посольство Османской империи. Перед самой октябрьской революцией 1917 года в здании несколько месяцев проработало российское отделение Нью-Йоркского национального городского банка.
Интересный факт:
Дворец на Дворцовой наб.8, имеющий также адрес по ул.Миллионной, 7 относится к местам в Петербурге, связанным с историей Мальтийского ордена. Обер-камергер, дипломат и знаменитый вице-адмирал Российского императорского флота Юлий Помпеевич Литта, живший здесь в корпусе на Миллионной являлся мальтийским кавалером. Может, тогда совсем неудивительно, что он стал самым молодым генералом в истории России, в 26 лет? Если серьезно, историки сходятся во мнении, что такое внимание к итальянцу Литте было вызвано желанием Екатерины укрепить связи с Мальтийским орденом. Начав карьеру в качестве морского офицера, он спустя время стал посланником Мальтийского ордена при русском дворе. Екатерина II способствовала его браку с племянницей Потемкина-Таврического, принесшему Литте большое благосостояние. Юлий Литта привез в Россию «Мадонну» Леонардо да Винчи, которая как «Мадонна Литта» находится сейчас в Эрмитаже.