Походная (при полку) церковь учреждена при сформировании полка. С 1913 года полк пользуется военною Александро-Невскою церковью, расположенной между старым городом и Полтинакским полем. Вокруг храма сквер.
Храм построен вместо старой временной домовой военно-приходской церкви, устроенной еще в 1865 году усердием местного купца Богданова.
Почин и инициатива к постройке теперешнего храма положены в 1896 году бывшим в то время Финляндским Генерал-Губернатором и Командующим войсками Финляндского военного округа, Генерал-Адъютантом графом Гейденом и состоявшим тогда начальником инженеров в округе Генерал-майором Красовским. Проект храма на 750 молящихся удостоился Высочайшего утверждения.
Храм спроектирован в византийском стиле с 5-ю главами на главном куполе и колокольней; в плане имеет начертание креста, длина 18 саж., ширина 11 и высота с крестами главного купола 16 и над колокольней 17 ½ сажен.
Покоится храм на глубоких гранитных фундаментах с таким же цоколем. Стены и своды из кирпича, внутри окрашены масляной краской под мрамор с украшениями. В храме 3 престола: главный — во имя Св. Благоверного Великого князя Александра Невского, правый придел — в честь Казанской иконы Божией Матери, левый — в честь Свв. апостолов Петра и Павла.
До 1913 года сим храмом пользовались 2-й и 4-й Финляндские стрелковые полки.
По штату при церкви положен: один священник.
Г.А. Цитович «Храмы армии и флота». Пятигорск, 1913
