Замок Лидзбарк Вармински (Lidzbark Warminski, Heilsberg) в плане почти квадрат со стороной 48,5 метров. Внутри дворик с двухэтажными аркадами в готическом стиле. Весь замок выстроен из красного кирпича - отличительной особенности замков Тевтонского Ордена. Кирпич обладает достаточной прочностью, чтобы выстоять против ударов камней из требюше и даже был способен какое-то время выдерживать удары артиллерийских ядер.
В углах замка расположены башни, из которых выделяется в северо-восточном углу большая восьмиугольная башня на квадратном основании - импровизированный донжон замка. В остальных трех углах - маленькие, почти декоративные башенки.
Сам замок уходит на два этажа вниз, а внутри состоит из комнат разной этажности.
Замок был основан в 1301 году, в 1303-1466 гг. принадлежал Тевтонскому ордену.
В 1411-1413 гг. в замке находилась резиденция Великого Магистра Тевтонского Ордена Хайнриха фон Плауена.
В 1466 году на основании постановления Второго Торуньского мира, Вармия была присоединена к Польше. С тех пор до 1795 года лидзбарский замок - резиденция знаменитых епископов, выдающиеся представители польской культуры и искусства. Лидзбарк стал религиозным, политическим, экономическим и культурным центром Вармии.
Одним из варминьских епископов был Лукаш Ваченроде, родной брат матери Николая Коперника. Благодаря дяде знаменитый учёный свою политическую и научную деятельность неразрывно соединил с Вармией и её столицей Лидзбарком Варминьским.
В 1495-1496 и в 1503-1510 годах у своего дяди Лукаша Ваченроде проживал Николай Коперник, будущий создатель гелиоцентрической системы мири. В замке великий учёный написал "Комментарии о гипотезах"... Здесь перевёл с греческого языка на латынь произведения Теофилакта Сымокатны.
В 1703 г. замок захвачен шведскими войсками под предводительством Карла XII. Картинные галереи и библиотека замка - разграблены.
С 1767 по 1795 в замке резиденция Игнатия Красицкого , епископа Вармии.
В XIX в. замок постепенно приходит в запустение, в нем устроены бараки для солдат и пекарня.
В 1858 замок превращен в приют и больницу. Приют просуществует в замке вплоть до 1932 г.
 В 1927 проведены первые работы по реставрации замка.
С 1961 года замок стал резиденцией Варминского музея. В нём можно познакомиться с произведениями искусства давней Вармии и Восточной Пруссии, увидеть картины выдающихся польских художников XX века. В замковых залах экспонируются шедевры готической религиозной резьбы по дереву и живописи (XVII - XIX веков). На стенах замка висят портреты варминьских епископов, а в стеклянных витринах находятся предметы, связанные с их меценатством. Есть также художественное ремесло - золотильное мастерство, ткань, мебель. В летней трапезной висят портреты предков Игнацв Красицкого, а этажом выше можно увидеть живопись польских художников XIX-XX веков.