Gotycki zamek został wzniesiony w XIV wieku. W XVI wieku przebudowano go w renesansową rezydencję. W 1656 r. został wysadzony przez wojska szwedzkie. Ocalało jedynie skrzydło zachodnie, które zostało przebudowane w istniejący obecnie budynek typu pałacowego.
Mieści się w nim Muzeum Okręgowe. Zgromadzone tutaj zbiory poświęcone są m.in.: dziejom zamku, historii miasta, kulturze ludowej Sandomierzaków i Lasowiaków, czy też pradziejom ziemi sandomierskiej.
Oryginalne i ciekawe wystawy poświęcone są Jarosławowi Iwaszkiewiczowi oraz wyrobom z krzemienia pasiastego.