Gotycki zamek zbudowano w XV wieku jako strażnicę na granicy Mazowsza i Litwy. XVI wiek był okresem jego prosperity. Natomiast w XVII wieku rozpoczął się jego upadek. Znacząco ucierpiał w trakcie potopu szwedzkiego i III wojny północnej. Stracił wówczas walory obronne. Choć pełnił jeszcze funkcje administracyjne, to w połowie XIX wieku uległ ostatecznemu zniszczeniu. Obecnie stanowi trwałą ruinę.
Dziś zamek jest siedzibą muzeum. Można w nim poznać jego historię. Jest to także jedno z największych muzeów broni w Polsce. Prezentowane jest tutaj uzbrojenie z różnych epok – broń biała, palna i drzewcowa. Oprócz tego możemy obejrzeć wystawę obrazów i grafik o tematyce batalistycznej oraz kolekcję portretu sarmackiego z XVII i XVIII wieku.