Zamek zbudowano w II połowie XIV wieku jako lokalną rezydencję krakowskich biskupów. Wcześniej taką siedzibą był pobliski Tarczek, gdzie można zobaczyć romański kościół pw. św. Idziego z I połowy XIII wieku.
Czas największej prosperity zamku przypadł na XV i XVI wiek. W wyniku przebudowy w II połowie XVI wieku gotycka warownia nabrała renesansowego charakteru. W II połowie XVII wieku zamek zyskał formę barokowej rezydencji.
Pod koniec XVIII wieku Sejm Wielki zdecydował o upaństwowieniu dóbr biskupich. W zamku urządzono spichlerz i szpital wojskowy. W 1814 r. ostatecznie został opuszczony. Obecnie jest trwałą ruiną.