В XVIII веке Петр разрешил застройку набережной строениями только для армейских и флотских чинов. Поэтому земельным участком здесь в разное время владели: сподвижник Петра I — граф Иван Алексеевич Мусин-Пушкин, другой сподвижник Петра I- генерал-фельдмаршал Василий Владимирович Долгоруков и третий ближайший сподвижник Петра I-майор Преображенского полка Василий Кормчин. Именно при Кормчине при участии знаменитого архитектора Доменико Трезини было возведено одно из первых серьезных каменных строений на набережной, которое стало называться Комчины палаты. После смерти Кормчина его владение было разделено на 4 части и досталось: генералу-поручику Волкову, действующему голландскому послу, генерал-аншефу Ушакову и будущем канцлером Алексеем Михайловичем Черкасским. Планы по перестройке у Черкасского были граниозные, однако им осуществиться помешала его смерть в 1742 года. Зато его дочь Варвара смогла построить 2 трёхэтажных дворца в стиле итальянского ренессанса, на погребах с 3 ризалитами, соединённых 2 надворными флигелями. Архитекторами выступили Чевакинский и Дмитриев. Варвара, выйдя замуж после окончания строительства дворца за генерала-аншефа Петра Шереметева сменила статус дворца с «особняка Черкасского» на «владение графов Шереметевых», владевших домом 60 лет. К началу XIX века каменный особняк разросся до «84 покоев», углубился в Миллионную улицу и стал более известен как «Миллионный дом». В это время по стечению обстоятельств особняк «Миллионный дом» и соседние с 2 сторон здания были выкуплены управлением имущества императорской семьи- Департаментом уделов. Для организации здесь ведомства были вложены огромные деньги, в том числе в интерьеры, мебель и т.д. С 1830-по 1831 в Департаменте уделов работал в качестве писца Николай Васильевич Гоголь.
Ново-Михайловский дворец начал строиться в этом месте для Великого князя Михаила Николаевича Романова — последнего сына императора Николая I и его супруги Александры Фёдоровны, будущего императорского наместника-генерала на Кавказе. Начало строительства дворца в 1857 году было связано с женитьбой великого князя на немецкой принцессе Цецилии Августе. Для строительства был привлечен архитектор, строивший императорские резиденции и великокняжеские дворцы-Андрей Иванович Штакеншнейдер. Стиль постройки изобиловал использованием в дворце различных форм искусства прошлого, например пышной, нарядной отделки фасада и крупными габаритами. Типичная ранняя эклектика. При возведении дворца использовались металлические балки и металлические стропила, обладающие огнестойкостью и долговечностью конструкций. При строительстве использовалась также новая технология: кирпичные стены служили опорой для сводов и железных балок. Другой технической новинкой были водопровод и отопление, которое осуществлялось подачей нагретого воздуха в помещения дворца. Через 27 лет (в 1889 году) дворец вообще смогли электрифицировать, что было просто фантастикой.
В 1909 году великий князь Михаил Николаевич скончался и дворец перешёл к его старшему сыну, талантливому историку и географу великому князю Николаю Михайловичу.
В 1917 году дворец был национализирован. В 1949 году здесь обосновался Институт Востоковедения Академии Наук.
