Zamek zbudowano w XIV wieku w miejscu drewniano-ziemnej warowni. W 1377 r. uchwalono tutaj statut mazowiecki – pierwszy spisany zbiór praw dla całego Mazowsza.
Niestety od początku XVI wieku zamek popada w ruinę. Jego odbudowa nastąpiła w I połowie XVII wieku. Kolejne zniszczenia przypadły na czas wojen ze Szwedami. Pod koniec XVIII wieku częściowo go odbudowano. Ostatecznie zamek został zniszczony przez wojska pruskie w czasie insurekcji kościuszkowskiej. Pozostały po nim jedynie ruiny.