Początki zamku sięgają I połowy XV wieku. Pod koniec XV wieku stał się on fortecą obronną. W II połowie XVI wieku przeistoczył się w renesansową rezydencję, zaś na początku XVIII wieku w rezydencję o charakterze pałacowym. W kolejnych latach przeznaczenie zamku ewoluowało, aż w 2005 r. stał się siedzibą Muzeum Miejskiego w Żywcu.
W zamku i towarzyszących mu zabudowaniach znajdują się liczne ekspozycje o różnorodnej tematyce. Osobne wystawy poświęcone są tradycji i historii miasta, kulturze ludowej Żywiecczyzny, sztuce sakralnej Żywiecczyzny, czy wykopaliskom prowadzonym w rejonie zamku i na Grójcu.
Szczególnie spodobały mi się trzy ekspozycje. Pierwsza pt. “Konfessaty czyli sądy, wyroki i tortury w Żywcu”. Druga prezentująca ptaki i ssaki Żywiecczyzny. Można na niej zobaczyć wypchanego rysia, niedźwiedzia, orła a nawet… sępa, którego odnotowano tutaj w okresie międzywojennym. Trzecia to wystawa czasowa prezentująca tradycyjne maski z różnych rejonów świata.
