Церковь Казанской Иконы Божией Матери после реконструкции в 1879 году оказалась слишком тесна для растущего прихода. Приход начал хлопотать о строительстве новой церкви. Городские власти передали на эти цели часть сада, на главной базарной площади в центре города.
Торжественное положение закладного камня состоялась 9 июля 1881 года. Освящёна 7 октября 1884 года. Церковь воздвигали рабочие из Верхней Силезии. Она имела один купол и пятиярусную, увенчанную куполом колокольню над входом, с пятью колоколами. Самый большой из них весил 400 кг. Храм мог вместить восемьсот человек. После обретения независимости православная церковь в 1921 году была занята под гарнизонный костел уланского Краховецкого Полка. В 1926 году в течение трех дней церковь была разобрана, а кирпич использовали для строительства семинарии, учительской.
