Historia położonego w centrum miasteczka kościoła Podwyższenia Krzyża Świętego sięga XV w. Na skutek wizyty króla Władysława Jagiełły, osada Gotardowa Wola uzyskała prawa miejskie i nową nazwę Zwoleń. Początkowy drewniany kościół został zniszczony przez pożar w 1558 r. Wkrótce po tym wydarzeniu rozpoczęto budowę nowej świątyni, której budowa trwała przez kilka dziesięcioleci.
Obecny kościół wzniesiono etapami. Jako pierwsze powstało prezbiterium. W kolejnych latach powstały dwie kaplice: Kochanowskich, w której znajduje się nagrobek Jana Kochanowskiego oraz Owadowskich. W XX w. świątynia przeszła kilka ważnych remontów i przebudów. Pomimo pożarów oraz zniszczeń z czasów II wojny światowej, kościół w Zwoleniu przetrwał.
