Pałac zbudowano w XVI wieku z wykorzystaniem gotyckich zabudowań brodnickiego zamku, po tym jak ten ostatni uległ pożarowi. Jednym z jego najznamienitszych mieszkańców była Anna Wazówna, siostra Zygmunta III Wazy, która rezydowała tu w latach 1605-1625. Pałac spłonął w 1945 r. Odbudowano go w latach 1960-1970. Obecnie jest siedzibą instytucji publicznych.
