Особняк расположен в одном из самых красивых мест Санкт-Петербурга. Разумеется, что застройка этого места началась при Петре. В 1770-х на участке уже появилась двухэтажная постройка служащего дворцовой канцелярии Александра Задлера. Дом получился достаточно удачным, настолько, что через 10 лет, с 1784 года по 1788 года здесь расположилась первая в России театральная школа, где среди актеров был знаменитый Сила Николаевич Сандунов. В самом начале 19 века дом перешел семье Зотова, придворного камердинера Екатерины II. Зотов пользовался уважением и расположением императрицы, что послужило в дальнейшем трагическую развязку в его судьбе, когда к власти пришел Павел I. Он сразу же распорядился заточить Зотова в каземат Петропавловской крепости, где Зотов сошел с ума. В 1816 году дом купила Варвара Петровна Шаховская, богатейшая графиня, наследница Строгановской горной империи на Урале. Далее были не менее именитые владельцы: полковник Александр Апраксин, петербургский военный губернатор, генерал Александр Балашов. Наследники Балашова дом стали использовать как доходный, но не добившись финансового «эффекта» просто-напросто продали особняк правнуку знаменитых братьев Орловых-графу Сергею Орлову-Давыдову. И наконец, последним хозяином дома был владелец бумажной фабрики Василевич.