Появился храм на своем месте в 1837 году. Центральная его часть была увенчана куполом, похожим на богатырский шлем, а барабан купола имел 12 окон. По углам располагались четыре маковки меньшего размера. Храм имел богатый иконостас из красного дерева. Каждый год 4 сентября вокруг церкви совершался крестный ход. У церкви располагалась войсковая больница, отчего её саму часто называли «больничной». В неё часто приходили больные, а потому многие горожане не «жаловали» этот храм, видимо, боясь заразиться. Крестовоздвиженская церковь совсем немного не «дотянула» до своего векового юбилея: в 1936 году храм закрыли и вскоре уничтожили.
