Zamek krzyżacki, wzniesiony na miejscu wcześniejszego grodu pruskiego, pierwotnie pełnił funkcję obronną, co podkreślają dodatkowe umocnienia i fosa oddzielająca go od zabudowań miejskich. Początkowo skromny, z czasem został rozbudowany, a jego renesansowa przebudowa nadała mu dzisiejszy wygląd. Mieści obecnie instytucje kulturalne i administracyjne, m.in. Izbę Pamięci, która powstała dzięki inicjatywie Wiesława Śniecikowskiego i pełni rolę centrum promującego lokalną historię i dziedzictwo. Gromadzi eksponaty, które ukazują historię Pasłęka i jego okolic. Na uwagę zasługują nie tylko przedmioty codziennego użytku z minionych epok, tj. maszyny do szycia czy żelazka, ale również unikalne dokumenty, jak 3 oryginalne akty przekazania terenów byłego powiatu pasłęckiego.
Mury miejskie, długie na 1200 m, są najdłuższymi zachowanymi średniowiecznymi murami w województwie warmińsko-mazurskim. Zbudowane w XIV w., przeszły liczne przebudowy i renowacje, zwłaszcza po wojnach i pożarach, które nękały miasto. W kolejnych wiekach wzmocniono je bastionami, które przyczyniły się do obrony przed szwedzkimi najazdami.
Brama Młyńska, jedna z 3 bram wjazdowych do miasta, również pełniła funkcję obronną, chroniąc ważne szlaki handlowe i młyny. Zbudowana w XIV w., przebudowywana 5 stuleciu później i zniszczona podczas II wojny światowej, została odbudowana w 1996 r., przywracając jej dawny średniowieczny charakter.
