Походная (при полку) церковь существует со времени сформирования полка. Церковь сия от Новгорода находится в 18 верстах, на левом берегу реки Волхова.
Здание церкви построено между 1824-1830 гг. для частей, квартировавших в казармах и для окружавших казармы военных поселений. В 1830-31 г. она звалась штабною церковью Гренадерского Императора Австрийского полка (ныне Л.-Гв. Кексгольмский полк в г. Варшаве). По выходе этого полка в г. Варшаву и уничтожении военных поселений (после поселенческого бунта в июле 1831 г.) церковь значилась состоящей при 3-м округе пахотных солдат. С 1836 г. по 1902 г., во время стоянки в казармах Л.-Гв. Драгунского полка, именовалась полковою означенного полка. С 1902 г. церковь является полковою Гвардейского запасного кавалерийского полка, квартирующего в казармах.
Здание церкви псевдо-греческого стиля, с заложенным портиком, каменное, на прочном из серого дикого камня фундаменте; представляет собою пристройку к восточной стене манежа (размер 6х8 саж.). В 1908 г. церковь капитально ремонтирована и расширена. Пол покрыт метлахскими плитками. Иконостас сохранился со времени устроения самой церкви. При входе в церковь снаружи устроен стеклянный тамбур.
Местные иконы: Спасителя, Божией Матери, храмовая Петра и Павла, муч. Трифона, Евангелисты и Благовещение на царских вратах, Тайная вечеря — все художественной работы в италианском стиле, — писаны между 1818-1830 гг.
За алтарем церкви погребен герой войны 1877-78 г.г. Свиты Его Величества г.-м. Ковалевский, бывший командир Л.-Гв. Драгунского полка.
При церкви имеется церковно-приходская школа.
По штату положен: один священник. Квартира — казенная в казармах.
Цитович Г.А. «Храмы армии и флота», Пятигорск, 1913