Początki pałacu związane są z Franciszkiem Hieronimem Granowskim, postacią niezwykle barwną, a swego czasu polskim muszkieterem służącym w osławionej formacji na dworze Ludwika XIV pod dowództwem potomka legendarnego Charlesa de Batz-Castelmore, comte d’Artagnan, pierwowzoru bohatera powieści Dumas.
Franciszek rozpoczął stawianie siedziby przed rokiem 1735, a po jego śmierci dzieła dokończył jego syn Kazimierz.
Pałac pierwotnie wybudowano w stylu barokowym, w pięknej scenerii, na stromym brzegu Pilicy. Wraz z następującymi po sobie nowymi właścicielami oraz epokami, ewoluował także wygląd budynku, jak i jego wystrój. Charakterystycznym elementem, który pozostał niezmieniony od początku istnienia pałacu jest półokrągły ryzalit w elewacji ogrodowej.
Założenie obejmuje także park powstały w tym samym okresie co pałac. Skrywa on ciekawostkę w postaci małej tężni.
