Шереметьевский дворец связан с именем Бориса Шереметева, одного из самых ближайших сподвижников Петра I. Борису Шереметеву Петр подарил один из участков на Фонтанке, где тот стал строить дворец, который впоследствии принадлежал всем последующим поколениям рода Шереметевых. Каменный усадебный дом в стиле барокко был построен в середине 18 века по чертежам Бартоломео Растрелли. Непосредственно над проектом работали знаменитые архитекторы Чевакинский, Аргунов, а также Еропкин. Интерьеры перестраивались и дополнялись благодаря архитекторам Воронихину, Старову, Кваренги.
Род Шереметевых являлся одним из самых виднейших боярских родов царства Русского и Российской империи. Самым ярким представителем этого рода был военноначальник времен Северной войны, генерал-фельдмаршал Борис Шереметев, получивший это звание в 1701 году и в этом же году доблестно проявивший себя в битве у мызы Эрестфер, организовав в декабре 1701 года знаменитых переход русских войск по льду Псковского озера. Это было первой победой русских войск в Северной войне. Неудивительно, что Шереметев первым в России был пожалован в 1706 году титулом графа. Особо Петр I чтил заслуги Шереметева за подавление восстания в Астрахани в 1706 году. Род Шереметевых внесён в знаменитую Бархатную книгу. Брак сына Бориса Шереметева с наследницей Черкасского положил начало колоссальному «шереметевскому состоянию».
Интересен еще один факт: Династия Романовых, выводят своё происхождение от Андрея Кобылы и его сына Фёдора Кошки. Пятым коленом Кобылы был Андрей Константинович Беззубцев по прозвищу Шеремет, от которого и пошли Шереметевы. Из рода Шереметевых вышло много воевод, наместников, бояр, часто не только в силу родства с царствующей династией, но и в силу личных заслуг. Правнучка Андрея Шеремета — Елена Ивановна была выдана замуж за сына Ивана Грозного царевича Ивана. Пятеро внуков Андрея Шеремета стали членами Боярской думы. Шереметевы принимали участие в войнах с османами, крымчаками, Литвой, в Ливонской войне, казанских походах. За службу им жаловались вотчины в Московском, Рязанском, Ярославском и Нижегородском уездах Руси.
Возвышение рода началось в 17 столетии, когда Шереметевы были одним из 16 привилегированных родов, представители которого возводились в бояре, минуя чин окольничего. В 17 веке особенно выросло уважение к роду Шереметевых после того, как в годы смуты воевода и боярин Петр Никитич Шереметев встал во главе обороны Пскова от войск самозванца Лжедмитрия II. Его двоюродный брат Федор Иванович способствовал избранию в цари Михаила Федоровича Романова.
В создании интерьеров Шереметевского дворца и усадебных построек на протяжении нескольких веков участвовали лучшие архитекторы разных эпох: крепостной архитектор семейства — Шереметевых Федор Семенович Аргунов, профессор Императорской академии художеств — Иван Егорович Старов, знаменитый архитектор Казанского Собора, Строгановского дворца и Горного института -Андрей Никифорович Воронихин, легендарный архитектор и акварелист — Джакомо Кваренги, швейцарский архитектор-марксист — Ханнес Мейер, швейцарский архитектор Доменико Квадри, академик Императорской академии художеств — Иероним Корсини, главный архитектор Петергофа Николай Леонтьевич Бенуа, архитектор дома Мурузи — Алексей Константинович Серебряков и др.
При графах Шереметевых Фонтанный дом был одним из великосветских центров Петербурга, местом встреч выдающихся музыкантов, деятелей культуры и науки. Во дворце иногда проводились литературные вечера под аккомпанемент камерного оркестра. В стенах Шереметевского дворца есть Музей музыки, кроме того, дворец является одним из филиалов Санкт-Петербургского государственного музея театрального и музыкального искусства, в основе которого лежит крупнейшее в России собрание музыкальных инструментов с о всего света. Ныне в залах Шереметевского дворца можно увидеть предметы шереметевских коллекций.