Первым владельцем острова был вице-канцлер Петр Шафиров, которому остров подарил Петр I. Но Шафиров не стал себе строить дворец на Елагином острове. После ссылки Шафирова остров отошел дипломату, графу Павлу Ягужинскому. Другими владельцами острова были Григорий Потемкин и Алексей Мельгунов. Пятым владельцем острова стал в 1777 году устроитель развлечений для императрицы Екатерины II Петр Елагин. Он решил строить себе небольшой загородный дворец. Предположительно, что для этих целей он пригласил Кваренги. Поскольку Джакомо Кваренги был основоположником русской ветви палладианства, то ему приписывают вероятное авторство первоначального строения для обер-гофмейстера Екатерины II. Елагин остров любила посещать Екатерина II, наносившая визиты и Петру Елагину и . Григорию Потемкину, и Алексею Мельгунову. Частым гостем Елагинской усадьбы был Гавриил Державин, воспевший прогулки по острову в стихах «Пикники». По легенде, в доме Петра Елагина останавливался граф Калиостро. В 19 веке Елагиноостровский дворец был полностью перестроен для вдовствующей императрицы Марии Федоровны (Софии Доротеи Августы Луизы) ее сыном императором Александром I. Марие Федоровне было уже неудобно добираться в павловские и гатчинские загородные резиденции, поэтому было выбрано это место.
Занимался строительством знаменитый архитектор Карл Росси в период 1818-1822 г.г. Росси с присущим ему размахом: дворец стал трехэтажным с большим центральным куполом, плюс было построено 3 павильона, а также двухэтажный Конюшенный и одноэтажный Кухонный корпуса. Все строения располагались в одном из самых больших в Европе пейзажных парков площадью 96 га. Росси уделил особое значение планировке парка, придав ему пейзажный характер и связанный Собственным садом, Старым английским садом, Новым английским садом, Масляным лугом, Рощей и Западной стрелкой. Внутренними и скульптурными работами занимались русские мастера- Василий Демут-Малиновский и Степан Пименов. Росписями занимались итальянцы-Джованни Батиста Скотти, Антонио Виги и Барнаба Джованни Медичи.
В отделке использовалось много искусственного мрамора, а самыми красивыми помещениями дворца стали украшенный кариатидами Овальный зал и Фарфоровый кабинет. Очень много росписей внутренних помещений было посвящено античной теме. Облицованные ценными породами дерева с тонкой позолоченной резьбой, отделанные бронзовыми деталями двери дворца очень нравились Марие Федоровне. Она постоянно благодарила Карла Росси за его личные идеи по оформлению каждой двери.
После смерти Марии Федоровны в 1828 году, уже в царствование Николая I дворец не смог найти постоянного пользователя из царствующего двора и стал использоваться редко. Постоянного проживающего у дворца не было вплоть до начала 20 века. При императоре Николае II дворец стал использоваться как загородные резиденции премьер-министров Сергея Юльевича Витте (1905-1906 г.г.), Петра Аркадьевича Столыпина (1906-1911 г.г.), Владимира Николаевича Коковцева (1911-1914 г.г.) и Горемыкина Ивана Логгиновича (1914-1916 г.г.). Городским жильем премьер-министров являлся особняк на Моховой ул.34.
После революции 1917 года дворец был национализирован. В период 1929 года музей Елагиноостровского дворца был закрыт, а лучшие экспонаты коллекции были переданы в Русский Музей, Эрмитаж, Павловский, Гатчинский и Екатериненский в Детском Селе дворцы. Предметы, представляющие особую финансовую ценность и было выполнены из золота, а также имели драгоценные камни, оклады икон были переданы в Госхран. Определенная часть коллекции ценных предметов была распродана через магазины Госторга и иностранной торговли. С этого периода здание дворца стало использоваться для культурно-просветительских целей граждан, которые приходили на отдых в Центральный парк культуры и отдыха.
Во время Великой Отечественной войны, здесь в парке находились воинские части Ленинградского военного округа, выполнявшие оборонительные задачи. В январе 1942 года, это место подверглось массированному обстрелу, в результате которого 2 снаряда разбили крышу дворца, прошли здание насквозь, разбили вестибюль и взорвались в подвале, образовав глубокую воронку. Ущерб был очень огромен. После войны дворец одним из первых дворцовых ансамблей Ленинграда стал восстанавливаться. Руководил работами архитектор Василий Митрофанович Савков, который выполнил детализированный комплексный обмер всех уцелевших конструкций и деталей декоративного убранства перед началом восстановительного процесса Елагиноостровского дворца. Реставрацию выполняло НПО «Реставратор». Декоративные росписи выполняла бригада живописцев под руководством Казакова и Любимова. Скульптурное убранство воссоздано скульпторами Михайловой и Масленниковым, модельщиками Оде и Малашкиным. Сложный лепной декор сделала бригада Громова. Паркет набирали мастера бригады Караваева. Интересно, что полностью отреставрированный дворец стал использоваться как однодневная база отдыха для трудящихся.
Петр Столыпин обосновался на Елагином острове в 1907 году. Это была вынужденная мера, потому что Россию захлестнула волна террора. Двое предшественников Столыпина, министры внутренних дел Сипягин и Плеве были убиты. На Столыпина же, сторонника сильной государственной власти в период 1905-1911 г.г. было совершенно 11 покушений. В взрыв в августе 1906 году на Аптекарском острове, когда Столыпин вел прием был особенно дерзким. Взрывом было разрушено половина дома, пострадали дети Столыпина, шестнадцатилетняя дочь Наталья осталась навсегда инвалидом. Вынужденный переезд в Зимний Дворец подействовал удручающе на Столыпина. Тогда Николай II предложил ему переехать в пустующий дворец на Елагином острове. Остров отвечал требованиям безопасно, поскольку был изолирован водой, кроме того была натянута колючая проволока. Вокруг дворца насчитывалось 6 постов полиции, дежурили отряды конной полиции, казаков и агентов тайной полиции. Вместе со Столыпином на Елагин остров переехала канцелярия министерства внутренних дел, директор канцелярии и товарищ министра. Все государственные дела, встречи, приемы и заслушивание докладов от чинов министерства были перенесены на Елагин остров.
