Brama Lidzbarska jest jedynym zachowanym fragmentem dawnych miejskich fortyfikacji. Wybudowana w latach 1481-1547, służyła jako jedna z trzech głównych bram miejskich, obok Bramy Reszelskiej i Warszawskiej, które nie przetrwały do dzisiejszych czasów.
Na przestrzeni wieków Brama przechodziła liczne przekształcenia. W XVIII w. została przebudowana w stylu barokowym. W kolejnym służyła jako więzienie, a jeszcze w następnym, mieściła bibliotekę i dom kultury. Po II wojnie światowej przeprowadzono prace zabezpieczające i remontowe, a pod koniec lat 50. XX wieku bramę przystosowano do celów kulturalnych.
Miejscowa legenda mówi o podziemnym tunelu łączącym Bramę Lidzbarską z kościołem św. Macieja Apostoła, choć nie znaleziono na to dowodów. Po wojnie, w wyniku działań pijanych mieszkańców, brama uległa częściowemu zniszczeniu.
