Здание интересно не только своим изысканным архитектурным обликом, но и именами людей, жизнь которых связана с этим местом. Дворец был построен для Великого князя Владимира Александровича, третьего сына Императора Александра II.
Участок земли по Дворцовой набережной, 26 находится в уникальном месте, поэтому оно сменило множество владельцев. Сначало эта земля была пожалована императором Петром I в начале XVIII века контр-адмиралу русского гребного флота Ивану Федосеевичу Боцису. Потом здесь обосновался граф Иван Алексеевич Мусин-Пушкин.
После смерти Мусина-Пушкина дом неоднократно переходил из рук в руки, пока в 1802 году его не приобрёл генерал-интендант Волконский, превративший здание в настоящий, красивый дворец. Вскоре, Волконский вынужден был продать свой особняк вместе со всей обстановкой, так как был уличен в махинациях при снабжении армии.. Здание предоставили в пользование французскому посольству.
Однако содержание такого большого дома Волконского было обременительным для финансов французской миссии, поэтому в 1840 году дипломаты Франции перебрались в другое место. Дом перешел в ведение Гофинтендатской конторы, ведавшей всеми строительно-хозяйственными вопросами императорского двора. Главный корпус стал использоваться для гостей императорского двора, а во флигелях разместилась казарма Роты Дворцовых Гренадер. Наконец, в 1862 году на месте уже устаревшего здания решили построить дворец для Великого Князя Владимира Александровича.
Великий князь Владимир Александрович был 3-им сыном императора Александра II после покойного Николая и цесаревича Александра. Он был очень умен, отлично сложен, и прекрасно образован. Очень много читал. К тому же быстрое продвижение Великого князя по иерархической лестнице обеспечивала принадлежность к царской семье. Званий и чинов как в гражданской службе, так в военном ведомстве, у Великого князя было достаточно: сенатор, с 1880 года генерал от инфантерии, участник Русско-турецкой войны 1877—1878 г.г., с 1884 г. главнокомандующий Петербургским военным округом и Гвардейским корпусом, член Государственного совета и Комитета министров.
Обладая несомненными знаниями и пониманием искусства, Великий Князь Владимир Александрович сделал невероятно много для расцвета русского искусства и его мирового признания, став в 1876 году Президентом Императорской Академии художеств. Великий князь ратовал за национальную художественную школу и прежде всего поддерживал отечественные таланты. По настоянию Владимира Александровича Академия организует русский отдел на Парижской международной выставке, где выставлялись не только произведения искусств от членов академии, но и значительные вещи из частных галерей Солдатёнкова и Третьякова. О деятельности Великого князя на поприще искусства восторженно отзывались многие современники — Илья Репин и Лев Толстой, Стасов, Половцов… Широко известная картина Репина «Бурлаки на Волге» писалась по заказу Владимира Александровича и впоследствии долго висела в его бильярдной.
Владимир Александрович чрезвычайно любил чтение, и «читал книги и ночью, и днём». Его жена, была также прекрасно образованна, необычайно умна, абсолютно самостоятельна и слыла вольнодумствующей. Владимиру Александровичу поэтому досталась по завещанию вся личная библиотека Александра II, состоявшая из 10 тысяч книг. Библиотека постоянно пополнялась и насчитывала от 17 до 50 тысяч книг. Владимир Александрович первый финансировал заграничные балетные турне Дягилева. Князь много путешествовал и объездил всю Европу от Вены до Парижа. Брак великого князя Владимира Александровича с принцессой из Мекленбург- Шверина Мари, был счастливым и продлился около 35 лет. В браке родились: Елена, Кирилл, Андрей и Борис.
Мария Павловна смогла создать во дворце великолепие, свой блестящий двор, во многом соперничающий с императорским. Попасть туда мечтал весь светский Петербург. И княжеская чета делала всё для того, чтобы поддерживать этот статус «Малым императорским двором» часто называли общество, собиравшееся во дворце Владимира Александровича. Большая любительница балов Мария Павловна устраивала потрясающие по пышности маскарады и танцевальные вечера. Одним из самых запоминающихся событий за всю историю существования дворца был 25 января 1883 года так называемый «исторический бал в русском стиле», состоявшийся во дворце великого князя Владимира.
9 января 1905 года в Петербурге была расстреляна мирная манифестация рабочих, желавших обратиться к царю с петицией о необходимости устранения непосильных тягот в повседневной жизни, тяжесть которых стала просто невыносима. Все это в итоге стало «Кровавым воскресеньем» и явилось началом Первой русской революции… «Кровавое воскресенье» подавилась жесточайшим образом и превратилась в итоге в бойню. Всё произошедшее в значительной степени стало результатом непродуманных действий великого князя Владимира Александровича, командующего войсками Петербургского военного округа. Боевая организация партии эсеров приговорила Владимира Александровича к смерти, однако все покушения оказались тщетны. Великий князь умер собственной смертью 4 февраля 1909 года и был похоронен в усыпальнице Петропавловской крепости. За несколько месяцев до кончины Владимира Александровича, Мария Павловна перешла в православие из-за ситуации, сложившейся вокруг трона: наследник-цесаревич серьезно болел, а брат императора Николая II великий князь Михаил Александрович мало интересовался государственными делами. Это означало, что у её сына Кирилла Владимировича появился реальный шанс стать императором.