Село Байловка до революции находилось в Моршанском уезде Тамбовской губернии.
По данным Андриевского: Алексиевская церковь, каменная, полутёплая, построена в 1809 году тщанием помещицы Параскевы Ланской. Престолов три: в настоящей во имя св. Алексия митрополита Московского и вся России чудотворца, в трапезной, в правой — во имя св. Николая чудотворца, в левой — во имя св. Георгия Победоносца. (…) Местно-чтимая икона св. Георгия Победоносца. (Андриевский. А. Е. Историко-статистическое описание Тамбовской епархии. Тамбов, 1911. С. 290, № 411).
Церковь в стиле классицизма имеет живописную композицию из четырёх ротонд (двусветной центральной ротонды храма и пониженных ротонд двух приделов и алтаря), сгруппированных в форме пространственного треугольника. С запада примыкает прямоугольная трапезная. Колокольня (скорее всего двухъярусная) утрачена. Храм представляет собой одну из многочисленных реплик известного московского храма Свв. Косьмы и Дамиана на Маросейке (1790-1803, архитектор М. Ф. Казаков).
Памятник архитектуры описан в научной литературе с ошибочным посвящением во имя Сошествия Св. Духа и датой: 1813 год. (Храмы Тамбовской епархии. Фотоальбом. / Сост. С. А. Чеботарёв. Тамбов, 2005. С. 175; Яковлев А. Н. Церковь Косьмы и Дамиана на Маросейке. Прототипы и повторения // Архитектурное наследство – № 51. – М.: УРСС, 2009. – С. 228–251.). Ошибка произошла из-за путаницы с другим храмом в селе Васильевка Кирсановского уезда Тамбовской губернии – усадьбе генерал-майора В. А. Недоброво.
Церковь в Байловке также упомянута в ряду прочих в диссертации И. Ю. Поздняковой на тему «Церковная архитектура Тамбовской епархии в синодальный период» (МАРХИ, 2011)
