Od 2005r. Muzeum mieści się w Starym Zamku, stanowiącym część dużego kompleksu pałacowo-parkowego, na który składają się również Nowy Zamek i park w stylu angielskim. Stary Zamek został wybudowany w XVw. a obecny kształt zawdzięcza licznym przebudowom. Ekspozycje stałe ulokowane są na drugim piętrze Starego Zamku. W dziale historii i sztuki prezentowane są dokumenty rękopiśmienne dotyczące dziejów miasta, wśród nich eksponowany jest Dziejopis Żywiecki Andrzeja Komonieckiego z 1704r. Na uwagę zasługuje kolekcja pamiątek cechowych obesłania, pieczęcie, księgi oraz skrzynie. W zabytkowych komnatach można oglądać XIXw. biedermeierowski salonik oraz gabinet Karola Stefana Habsburga, właściciela miasta w latach 1985-1933. Najcenniejsze zbiory Muzeum to kolekcja sztuki sakralnej pochodząca z Kościoła Św. Krzyża w Żywcu. Na wystawie prezentowane są stroje mieszczan żywieckich, zabytkowe meble, ikonografia miasta Żywca oraz pamiątki związane z Żywieckimi Habsburgami.