В XVIII веке началась застройка земельного участка, на котором находится особняк. Поскольку недалеко располагались Адмиралтейские верфи, то неудивительно, что первым владельцем участка стал английский корабельный мастер Осип Най, построивший несмотря на существовавший тогда запрет простой деревянный дом. Первый каменный дом в 1738 году на этом месте построил сын генерала Головина — сподвижника Петра I. Затем в 1790 году новым владельцем особняка стала знаменитая Ольга Жеребцова,- сестра фаворита Екатерины II Платона Зубова и активный организатор заговора против Павла I. Спустя время продала дом немецкому купцу, а тот уже в 1815 году продал княгине Юсуповой, бывшей фрейлине и супруге мецената, дипломата. владельца подмосковных усадеб Архангельское и Васильевское князя Николая Борисовича Юсупова. Спустя 8 лет новым владельцем здания стала имеретинская царица Анна Матвеевна, чей муж, царь Имеретии Давид II скончался до этого. Грузинская аристократическая семья нуждались в деньгах, поэтому 2 верхних этажа спустя время начали сдавать внаём.
Однако финансовые затруднения усугубились, образовались просроченные долги по закладной и поэтому дом был выставлен на торги, где его в 1830 году приобрел светлейший князь, начальник Главного морского штаба Александр Сергеевич Меншиков. За счет казны князь полностью обновил и облагородил все интерьеры. После смерти Меншикова его сын Владимир, генерал от кавалерии произвел новую перестройку облика интерьеров в стиле эклектика. Определяющим стилем теперь стала убранство в стиле Людовика XV. Сдержанные фасады здания теперь внутри скрывали изысканность и дороговизну. Самый большой зал особняка -танцевальный теперь стал оформлен лепными фигурами, хорами и шестью колоннами. Мраморная же лестница стала изогнута и украшена позолоченной лепкой и атлантами. Кабинет князя был отделан в дорогом мавританском стиле, общая столовая в богато декорированном русском стиле.
В 1896 году дом был продан Кабинету Его Императорского Величества. В 1911 — 1913 г.г. придворный архитектор Мельцер реконструировал здание для четвертого сына Александра III и младшего брата Николая II — великого князя Михаила Александровича. Мельцер по заданию нового владельца частично перестроил здание в стиле модерн, в правом флигеле — гараж, а на въезде с Галерной улицы появилась арка с павильоном.
После революции 1917 года дворец был национализирован. С 1922 года дворец занимает «Всероссийское общество глухих».