Zamek zbudowano w 1340 r. w miejscu istniejącego wcześniej grodu drewniano-ziemnego. Na początku XV wieku Władysław Jagiełło kilkukrotnie spotykał się tu z wielkimi mistrzami krzyżackimi. W 1404 r. na kępie wiślanej pod zamkiem podpisano pokój w Raciążku.
Wiatr historii nie oszczędzał twierdzy. Zamek był kilka razy zdobywany a także niszczony. W XVI wieku przekształcono go w renesansową rezydencję obronną a w XVIII wieku w rezydencję barokową. Po III rozbiorze Polski pruskie władze postanowiły go zburzyć. Dziś pozostały po nim ruiny.
Protip: Mniejszym samochodem można podjechać pod sam zamek, większy lub kampera lepiej zostawić na parkingu około 200 metrów wcześniej.