Pod koniec XIX wieku Rosjanie wznieśli tutaj sobór prawosławny w stylu bizantyjskim z pięcioma srebrnymi kopułami, które są jej znakiem rozpoznawalnym. Jednak po I wojnie światowej cerkiew przejęli Katolicy. Później znajdowała się tutaj galeria sztuki. Jednak od kiedy Litwa odzyskała niepodległość kościół zwrócono katolickim wiernym.
