В петровское время участок принадлежал представителям старого дворянского рода Татищевых: с 1712 года подпоручику Савве Алексеевичу, затем его родственнику Ивану Юрьевичу и, наконец, поручику морского флота Василию Татищеву. Законы того времени требовали строительство каменных а не деревянных домов, и поскольку, в нарушение указа, участок был застроен деревянным домом, то владение Татищевых было отдано племяннику Екатерины I- юному кадету Шляхетского корпуса Андрею Семеновичу Гендрикову.
Молодой Гендриков пользовался доверием императрицы, потому что помог Разумовскому стать малороссийским гетманом, а в войне с турками проявил храбрость, стал иметь чин генерал-майора. Следующим знаменитым владельцем особняка в 1790 году стал «обаятельный красавец во фраке» Александр Францевич Раль, который являлся прибывшим из Германии купцом 1-ой гильдии и год спустя получившим титул барона. У Раля было много недвижимости в Петербурге. в том числе писчебумажная фабрика в Нарвской части и суконная фабрика на Малой Охте.
Свой особняк на небережной Ралль сделал в стиле ампир, где фасад по 1-ому этажу был рустован, по 2-ому оставлен гладким. Центральный ризалит завершался треугольным фронтоном. Дом преобразился и стал местом притяжения высших кругов, здесь часто устраивались камерные концерты с участием лучших исполнителей. Но у судьбы свои законы, и в 1817 году барон Раль обанкротился. Всему виной стал неожиданный гигантский разрыв между доходами и расходами. Буквально всю недвижимость (и дом на набережной) пришлось заложить в банке. Поэтому неудивительна дальнейшая судьба дома — он просто стал доходным домом.
В 1853 году новой хозяйкой дома стала жена титулярного советника Мария Моисеевна Рыжева. При ней дом еще оставался доходным. Но в 1880 году у наследников Рыжевой дом купила жена богатого купца и предпринимателя — Екатерина Федоровна Молво, которая сразу заказала переделку в стиле эклектики архитектору Альберту Николаевичу Бенуа. Через год набережную украсил нарядный фасад, подражающий флорентийскому палаццо (но с немного тяжеловесной элегантностью), где 1-ый этаж был отделан квадровым, 2-ой дощатым рустом, а над полуциркульными окнами были размещены тондо с маскаронами львов. Выше тянулся барельефный фриз из грифонов и растительного орнамента.
Последней вехой истории ХIX века стал 1895 год, когда особняк купил Александр Федорович Масловский-председатель Тульского поземельного банка и статский советник. Дом снова подвергся переделке, прежде всего интерьеров. Семья Масловского и его потомки жили в особняке до 1919 года, когда его национализировали большевики.
