Обладая громадными финансовыми возможностями, один из первых вельмож императрицы Елизаветы Петровны — граф Михаил Илларионович Воронцов приобрел в 1740 году сразу несколько смежных участков, которое образовывали большое пространство между улицей Садовой и наб. Фонтанки. Идея состояла в строительстве большой городской усадьбы дворцового типа. Реализация проекта началась через 9 лет после покупки и продолжалась в течение 10 лет до 1758 года. В качестве архитектора был привлечен знаменитый Бартоломео Растрелли. Воронцов имел возможности осуществить такой грандиозный проект, поскольку был не только родственником императрицы, но и человеком непосредственно принимающим участие в ее возведении на престол (он склонил на сторону Елизаветы Преображенский полк). С 1744 года Воронцов стал вице-канцлером, а к окончанию строительства своего дворца-канцлером (дворец еще называли «Канцлерский дом»).
Что касается проекта -он получился очень впечатляющим. Главный фасад дворца был украшен 3 ризолитами, по бокам от главного входа располагалась группа колонн, «поддерживающих» балкон. Центральный завершался центральной композицией с гербом рода Воронцовых. На гербе дворянского рода- 2 коня с красными глазами, держащие щит и стоящие на ленте с девизом: «semper immota fides», над щитом графская корона, а над ней 3 дворянских серебряных шлема, на самом верху черный императорский орел, на правом шлеме дворянская корона с 6 выходящими знаменами… Второй П-образный корпус выходил в обширный парк. Сам дворец затмил роскошью наверное все дворцы Петербурга: 50 залов образовывали амфиладу вдоль главного фасада, на 2 этаж вела великолепная лестница, украшенная изваяниями. Современников поразил огромный двусветный зал в центральной части, большая библиотека, везде была богатейшая лепка, плафоны работы Тьеполо, сложная резьба, позолота и т.д. Вся ограда была сделана сестрорецкими мастерами и отлита по рисункам Растрелли. В конце строительства была освящена домовая церковь имевшая посвящение Михаилу Малеину-святому, который был учителем Афанасия Афонского, основавшего Великую Лавру Афона…
Траты на строительство и отделку оказались баснословными, но Воронцов жил мечтой, что создает для своей семьи настоящий архитектурный шедевр мирового уровня. Однако 25 декабря 1761 года умерла Елизавета Петровна, а в 1762 году в ходе дворцового переворота на престол взошла Екатерина II. Хотя поначалу Воронцов еще оставался номинально канцлером, но царица не забыла, что он собирался «усовестить» ее из-за отстранения Петра Федоровича от власти, поначалу вообще отказывался присягнуть новой императрице, и сделал это позже без всякого желания и самым последним. Чашу терпения Екатерины переполнило то обстоятельство, что между Воронцовым и Григорием Орловым возникли серьезные разногласия. Воронцов был отправлен в «длительный заграничный отпуск» , а архитектурный шедевр на садовой улице были им продан в казну «по цене себестоимости», а подаренный Елизаветой Мариенбург он уступил лифляндскому помещику-барону Фитингофу… Здание 7 лет вообще пустовало, но потом Екатерина II все-таки решила устроить там гостевой дом.
Следующий этап жизни дворца происходил при Павле I, который став императором совершил путешествие по Европе и был сильно впечатлен идеями рыцарства (будучи православным императором). После событий на Мальте, когда остров захватили французские войска, Мальтийский орден стал испытывать серьезные притеснения. Павел I великодушно предложил ордену переехать в Петербург, и привезти сюда свои реликвии: фрагмент Сущего Креста Господня, десницу Иоанна крестителя, икону Филермской Богоматери. Бывший Воронцовский дворец был подарен «российской ветви» Мальтийского ордена. Дворец стал именоваться «замком мальтийских рыцарей», а над воротами был установлен герб ордена — белый мальтийский крест на красном фоне. Тогда же в 1798 году «в замке» по проекту Джакомо Кваренги появилась Мальтийская капелла, рядом построена православная церковь во имя Рождества Иоанна Предтечи. Российская ветвь Мальтийского ордена по указу Александра I прекратила свое существование и флигели дворца были отданы торговцам в аренду. Здесь были лавки, книжные магазины, салоны старины.
4-ый этап жизни дворца начался в 1810 году, когда дворец передали Пажескому корпусу, созданному еще Екатериной II для обучения пажей. Чуть позже император Александр I решил обустроить дворец для своего младшего брата, великого князя Михаила Павловича. Проектом устройства занимался знаменитый Карл Росси. Чуть позже во дворце решили разместить военное училище, но ни планировка, ни шикарная отделка дворца не подходили для этих целей. Кроме того еще Росси занимаясь планировочными решениями так и не смог сделать 2 площади, соединенных между собой улицей. Военные училища смогли прижиться здесь 1920-х (пехотное училище им.Кирова), и с 1955 года когда здесь разместилось Суворовское военное училище, в 2000-х переехавшее на Фонтанку.
Интересная легенда: в Инженерном замке были спрятаны сокровища мальтийских рыцарей — магический ларец из вечного железа, который хранил тайны прошлого и будущего. Когда Павел I стал Великим Магистром Мальтийского Ордена, ему были переданы регалии Великого Магистра и некие древние священные реликвии Ордена. Есть легенда, что в подземелье тайного тоннеля длиной более 900 метров до Воронцовского Дворца, устроен тайник, в котором хранились древние реликвии Ордена, которые не должны попасть в руки врагов, так как они дают их владельцам силу, богатство, неуязвимость и власть над миром. Это не только чаша Грааля и некоторые христианские реликвии, но и артефакты Древних, которых люди считали богами, в том числе кинжал Одина. Во время блокады, когда эта легенда получила исторические подтверждения, уже было не до мистических артефактов, тем более, советским атеистам. Боец, которому монах рассказал, как найти тайник, вскоре погиб, а политрук, услышавший историю от бойца, понятное дело, не сообщил никому, дабы не быть обвиненным в религиозной пропаганде…