Kapucyni przybyli do Nowego Miasta w roku 1762 na zaproszenie wojewody rawskiego Kazimierza Granowskiego i już w tym samym roku rozpoczęli budowę klasztoru.
Kościół pw. św. Kazimierza zaczęto stawiać w roku 1780. Ze względu na trudną sytuacją geopolityczną, wykończono i konsekrowano go dopiero w roku 1815. Jest to budowla w stylu baroku toskańskiego.
Po powstaniu styczniowym władze carskie rozpoczęły akcję masowej kasaty zgromadzeń zakonnych. Nowomiejski klasztor był jednym z tych, które przetrwały i musiały przejąć zakonników z likwidowanych placówek. Wraz z braćmi do Nowego Miasta przybywały także różne ciekawe eksponaty i artefakty.
W ten właśnie sposób w Nowym Mieście znalazł się także błogosławiony Honorat Koźmiński, człowiek szeroko wykształcony, prezbiter. Dzięki jego pomysłowi zakładania niehabitowych zgromadzeń trudniących się głównie działalnością charytatywną, zakony w Polsce przetrwały.
Aby upamiętnić postać Honorata Koźmińskiego obok klasztoru założono muzeum poświęcone jemu i jego działalności. Aby wejść wystarczy zapukać do klasztornej furty. Jedną z najcenniejszych pamiątek po błogosławionym jest konfesjonał, w którym ojciec Honorat spowiadał oraz oczywiście relikwie błogosławionego wystawione w sanktuarium. .
