В 1896 году на военном кладбище была построена церковь в честь святого благоверного князя Александра Невского. Храм был небольшой – всего 112 кв.м, не считая алтаря и притвора. В нем совершались заупокойные службы и проходили отпевания воинов и гражданских работников железнодорожной бригады, в состав которой входили три батальона.
С апреля 1921 по октябрь 1931 года этот храм, как впоследствии Покровский, был единственным православным храмом в городе. Причиной тому послужил пожар, уничтоживший приходскую церковь Смоленской иконы Божией Матери, располагавшуюся на месте нынешнего Свято-Покровского храма.
В связи с застройкой центра города после Великой Отечественной войны этот храм было предложено перенести за город, где сейчас проходит ул. Тельмана, но прихожане отказались, поскольку в то время там был пустырь. В итоге храм и причтовый дом в 1949 году были разобраны. Община св. Александра Невского объединилась с Покровской, а из материала, появившегося в результате демонтажа зданий, были построены причтовые дома Свято-Покровского прихода. На месте кладбищенской церкви сейчас находится стоянка такси на пл. Ленина.
Говоря о благой Господней воле, можно заметить, что Александро-Невский храм на улице Тельмана все-таки появился, а недалеко от места старого Александро-Невского храма сегодня построен храм Святых Жен-Мироносиц.
