Этот средневековый замок был построен шведами в 1293 году на месте захваченного ими укрепленного пункта карел. Шведский регент Торгильс Кнутссон приказал окружить возвышенную часть острова стеной толщиной в 2 метра, и возвести каменную высокую башню в центре, названную в честь крестителя Скандинавии Святого Олафа. Выборгский замок таким образом стал надежным форпостом одной из областей Шведского королевства. Однако это место входило в сферу интересов сильной Новгородской республики предприняло несколько неудачных военных походов 1294 и 1322 годов. Поэтому мирный договор, заключенный в крепости Орешек (Шлиссельбург) предусматривал, что Выборг с карельским перешейком до реки Сестры (в Сестрорецке) отходят Швеции. Шведы стали активно вкладываться в строительство. В разные этапы 1442-1448 г.г., 1556-1564 г.г. и 1698-1702 г.г. старый замок окончательно превратился в тыловую позицию крепости, были построены каменные казармы, а также подверглось основательной перестройке предмостное укрепление замка.
Следующий важный этап в жизни замка произошел в 1710 году когда царь Петр I отправил войска во главе с Апраксиным для взятия крепости. После 2 месячной осады замка шведский комендант Магнус Шернстроле проявил благоразумие и сдался. Впоследствии роль замка стала снижаться, особенно после строительства широких Аннинских укреплений в середине 18 века. Еще через век в замке произошел разрушительный пожар после неосторожного праздничного салюта в честь открытия Сайменского канала. Замок стал использоваться под складские нужды, какое-то время здесь находилась губернская тюрьма… В конце 19 века был вообще разработан проект исторического музея, но это тоже не смогло быть реализовано. В итоге в 1888 году император Александр III распорядился отдать замок под нужды Военного министерства. Архитектор Эрнест Вильгельм фон Лезедов произвел реконструкцию замка, которая уже дошла до наших дней. Появились балочные перекрытия и новые оконные проемы, новые уровни, появилось гранитное крыльцо при входе в башню, внутри самой же башни появилась металлическая лестница, ведущая на смотровую площадку наверху. Во время советско-финской войны 1939-1940 г.г. замок почти не пострадал при входе советских войск в Выборг. Сам замок состоит из: башни Святого Олафа, Главного корпуса (Кастеля), Райской башни, Башни Сапожника, Винного погреба, Кузнечного двора, и Арсеналов.
