В 1895 году в селе Кувшинном была построена новая трёхпрестольная каменная Пятницкая церковь. Согласно «Справочной книге о церквах, приходах и причтах Курской епархии», по состоянию на 1908 год в приход Пятницкой церкви, кроме села Кувшинного, входили деревни — Алябьева, Беломестное, Чуйкова, Хвостова, Еремина, Майкова, в которых проживало 1166 «приходских душ». Священником в церкви с 1883 года служил Хорошилов Василий Михайлович, дьяком с 1894 года — Попов Димитрий Григорьевич, а псаломщиком с 1854 года — Шафранов Иван Георгиевич.
В приходе на то время действовали две земские школы: в деревнях Алябьева и Хвостова. В обоих школах попечителем был землевладелец из Карасёвки дворянин Александр Сергеевич Перфильев, законоучителем – священник Алексей Хорошилов. Школьной учительницей в алябьевской школе была дворянка Толмачёва Лидия Васильевна, а в хвостовской – дворянка Новосельская Олимпиада Ивановна.
Некоторое представление о внешнем виде храма и его внутреннем убранстве даёт страховая карточка Пятницкой церкви, датированная 5-м июля 1910 года, которая хранится в Российском государственном историческом архиве (РГИА) в Санкт-Петербурге. Согласно страховой карточке, Спасо-Пятницкая церковь была каменной, снаружи не отштукатуренной, а покрашенной масляной краской. Кровля церкви была покрыта железом, окрашенным зелёной масляной краской. Длина церкви, считая и колокольню, – 15 саженей (32 метра), наибольшая ширина 10 2/3 сажени (около 23 метров). Высота церкви до верхнего карниза составляла – 3 ½ сажени (7,5 метров). На церкви имелась одна большая глава, а малых главок не было. В здании было 26 больших окон и трое наружных двустворчатых дверей. Внутри церковь была отштукатурена, в ней имелось 6 внутренних двустворчатых дверей. Иконостас, отделяющий алтарную часть от основной части церкви, был длиною 30 аршин (более 21 метра), а высотою 15 аршин (10,5 метров). Он был оценён страховой комиссией в 2000 рублей. Церковь не отапливалась.
Церковная колокольня была двухъярусной, общей высотою до верха карниза – 4 ½ сажени (9,6 метра). Самой близкой к церкви постройкой был дом священника, который находился с юго-восточной стороны на расстоянии приблизительно 100 саженей (чуть больше 200 метров).
Церковь, построенная в 1895 году, к 1910 году хорошо сохранилась и была оценена комиссией вместе с иконостасом и колокольней в страховую сумму в 10000 рублей.
При церкви строилась сторожка длиною — 20 аршин (14 метров), шириною — 10 аршин (7 метров), высотою – 4 аршина (2,8 метра). Стены у ней были деревянные, а покрыта она была железом. В сторожке было 12 окон и 4 дверей. Достроить её планировалось до конца 1910 года. Страховая оценка сторожки составила 1000 рублей.
После опубликования декрета СНК РСФСР от 23.01.1918 г. «Об отделении церкви от государства и школы от церкви» Пятницкая церковь продолжала действовать на основании договора жителей села Кувшинного и Совета рабочих, крестьянских и красноармейских депутатов Курского уезда.
Несмотря на протесты, которые особенно жёстко проходили в 1930 году, Пятницкая церковь в селе Кувшинное Алябьевского сельсовета была закрыта по решению президиума Курского облисполкома от 23 июня 1939 г. Некоторое время здание храма еще использовали как зернохранилище, а в дальнейшем оно просто осталось заброшенным строением.
Поскольку церковь находилась рядом с кладбищем, то местные жители не проходили мимо. А в начале 1950-х годов храм по решению властей снесли с лица земли.
