В первой трети 18 века на этом месте находился 2-этажный деревянный дом. По некоторым данным владельцем был Иван Иванович Бутурлин, сын сподвижника Петра I. Оказавший помощь взошедшей на престол Екатерине I, тем не менее не одобрял политику Меншикова, за что поплатился ссылкой после смерти императрицы и лишением всех чинов, деревень… Новым жильцом стал английский подданный. В конце 18 века в доме поселился купец Миллер, потом хозяевами дома снова стали англичане Альбрехты. В 30-х годах 19 века зданием владело Морское министерство. Неудивительно, что впоследствии в доме поселился и а позже стал и его владельцем знаменитый исследователь Арктики, начальник знаменитой гидрографической экспедиции 1817-1819 г.г. на шлюпе «Камчатка», в 1826 году на шлюпе «Сенявин» -Федор Петрович Литке. В 1832 году Литке был воспитателем сына Николая I- великого князя Константина Николаевича. Федор Петрович также заказывал переделку здания, которую осуществил архитектор Иоганн Иванович Цим.
Важным этапом жизни здания стало владение им баварского генерального консула Эдуарда Морицевича Майера. Им была заказана полная перестройка здания, которую в период 1870-1872 года реализовали архитекторы Рудольф Бернгард и Карл Рахау. Эклектичный фасад украсили маски львов по верхним краям, а красивый эркер и отходящие от него балконы «держат» спиною (не на руках) атланты, выполненные на треть. Последним хозяином дома на набережной был почетный гражданин Андрей Андреевич Шварц. Для него были осуществлены внутренние перестройки здания архитекторами Дмитрием Зайцевым и Леонардом Фащевским. После революции 1917 года дом был национализирован, а помещения поделены на «клетушки», в которые заселились рабочие.