Klasztor wybudowano w latach 1770–72, w stylu baroku toskańskiego, na skarpie nad Narwią na tzw. Popowej Górze. Na wewnętrznym dziedzińcu znajduje się figurka Matki Boskiej Częstochowskiej. Budowla posiada trzy skrzydła. W latach 80. XVIII wieku dobudowano przy klasztorze Świątynię Matki Boskiej Bolesnej. Użyto wtedy materiałów pochodzących ze zrujnowanego kościoła św. Wawrzyńca w Starej Łomży. Kościół posiada pięć ołtarzy, w których umieszczone relikwie męczenników św. Specjoza i Kolumbana. Przy bocznym wejściu, od kilkudziesięciu lat w czasie Bożego Narodzenia, prezentowana jest ruchoma szopka.
Co ciekawe, nazwa “kapucyni” wywodzi się od włoskiego słowa “capuccini”, którym włoskie dzieci określały zakapturzonych, brodatych zakonników, ponieważ “capuccio” w języku włoskim oznacza kaptur.
