Каменный храм в Алексеевке построен в 1813 году и освящён епископом Антонием во имя святителя Димитрия Ростовского, чудотворца с приделом в честь Казанской иконы Божией Матери.
Церковь построена в характерном на то время стиле классицизма. Все притворы и алтарный выступ оформлены мощными пилястрами. Под треугольным фронтоном — арочные наличники полуциркульных окон. Форма остальных окон прямоугольная. Световой цилиндрический барабан над центральной частью храма перекрыт полусферой, которую венчает затейливая глава с маковкой. Колокольня храма одноярусная, завершается своеобразным воронкообразным шпилем.
В 1886 году в церкви было два штатных клира, в её распоряжении находилось 39 десятин земли. Кроме слободы, к приходу относились хутора Гречаников, Игнатов, Новая Мельница, Сидоркин. К храму были причислены 1120 прихожан.
В начале XX века настоятелем церкви назначили Дионисия (Дениса) Петровича Курбатова. Он-то и построил двухэтажный каменный особняк на месте бывшего пустыря и свалки по улице Широкой (ныне ул. Комсомольская, 75). При доме находилась усадьба с хозяйскими постройками: сараями для домашней живности, амбарами, омшаником, а также садом. В то время слобода Дмитриевка не входила в состав Алексеевки.
Семья Курбатовых жила здесь до 1919 года и уехала, чтобы избежать преследования властей. И всё же от судьбы Денис Петрович не увернулся. Как и многие священники, погиб во время репрессий 1930-х годов.
В 1997 году церковь обновили. Позолоченные кресты, купол и шпиль освящены епископом Белгородским и Старооскольским Иоанном. В 2006 году вокруг церкви установлена новая ограда из краснокирпичных столбиков и металлической кованой решётки. Храм объявлен памятником истории и культуры. Взят под охрану государства.
