Первое разноэтажное здание начало строиться в этом месте в начале царствования Елизаветы Петровны в 1741 году в качестве подарка для Алексея Разумовского. Проект здания в виде растянутой буквы «Н» был создан архитектором Михаилом Земцовым. Но после смерти Земцова в 1743 году продолжал строительство дворца знаменитый Бартоломео Растрелли. Повернут дворец был к Фонтанке боком потому, что с реки был прорыт канал, завершавшейся небольшой гаванью. В это время Фонтанка ограничивала пространство строящегося города, дальше нее начинался лес. В 1776 году императрица Екатерина II, выкупила дворец Кирилла Разумовского (брата), и подарила его вместе с деньгами «на обустройство» своему фавориту — графу Григорию Потёмкину. Поэтому в 1776—1778 годах дворец был переделан, архитектором выступил академик Императорской Академии художеств Иван Егорович Старов. Иван Егорович убрал характерную для барокко разноэтажность здания, посчитал лишним обилие лепнины на фасаде и засыпал гавань. Новое строение в стиле классицизма стало более монотонным и строгим.
В 1785 начался 3-ий этап жизни дворца, когда он был выкуплен в казну и около 7 лет в нём находился Кабинет Его Императорского Величества. Архитектором Кваренги в этот период было построено 2 новых корпуса со стороны наб. Фонтанки. Следующим этапом стало владение дворцом великой княгиней Екатериной Павловной, которой император Александр I В 1809 году подарил дворец как самой любимой сестре в качестве приданного на свадьбу с принцем Георгом Ольденбургским. Но в 1816 году дворец снова был выкуплен в казну, когда Екатерина Павловна повторно вышла замуж и уехала из России. Всего год спустя в 1817 году, дворец снова становится царским подарком Александра I но уже своему брату Николаю Петровичу (Николаю I) на бракосочетание. Дворец снова стал реконструироваться под началом генерала-инженера Августина Бетанкура и при участии талантливых архитекторов Антона Модюи и создателя русского ампира Карла Ивановича России. Модюи включил дворец с прилегающим садом в ансамбль прилегающей площади Александринского театра, где вокруг дворцового сада была сооружена ограда и спроектировал на его западной стороне 2 красивых, одноэтажных павильона. Карл Росси же пристроил с юга дугообразный «сервизный корпус» и перепланировал интерьеры дворца.
Николай I уже императором использовал Аничков дворец для придворных балов, во время же Великого Поста переезжал сюда из Зимнего дворца, а также «пережидал» здесь с семьей реконструкцию Зимнего дворца после пожара 1837 года.
После смерти Николая I в 1855 году дворец получил название «Николаевский». В Николаевском дворце воспитывался поэтом Василием Жуковским сын императора Александр — будущий Александр II. У Жуковского даже была здесь просторная квартира.
В 1841 году дворец снова был свадебным подарком, Николая I сыну Александру. Через 25 лет дворец по доброй традиции стал свадебным подарком Александра II сыну, будущему Александру III. Император Александр III переехал сюда на «постоянное жительство», потому что опасался за свою жизнь. На его отца было совершено покушение террористом Халтуриным в Зимнем дворце, а в марте 1881 года народовольцами Александр II был убит. Неудивительно, что со стороны площади у Александринского театра появилась глухая стена. После смерти Александра III в 1894 году дворец служил резиденцией вдовствующей императрицы Марии Федоровны.
После революции 1917 года во дворце до 1925 года был музей города, а в 1937 году в этом здании открылся Ленинградский Дворец пионеров.
Интересный факт:
23 ноября 1836 года, за 2 месяца до смерти на аудиенцию к императору Николаю I был приглашён Александр Сергеевич Пушкин, от которого Николай I настоятельно потребовал воздержаться от дуэли.