Początki rezydencji sięgają połowy XVI wieku, kiedy to zbudowano w tym miejscu dwór obronny. W latach 1693-1703 dwór został przebudowany na barokowy pałac. Zniszczony w trakcie III wojny północnej pałac, został odbudowany i rozbudowany w latach 1722-1741. Dziś mieści się tu powiatowy urząd pracy. Za budynkiem rozciąga się, dawniej przypałacowy, a obecnie miejski park im. Książąt Sanguszków.