История Касторного начинается, по свидетельствам исследователей, в 1590 году – именно этой дате соответствует первое упоминание названия поселка в письменных источниках. В конце XVI века Касторное было деревянной крепостью, окруженной рвом, валом и частоколом из бревен, а первыми поселенцами этой крепости были служилые люди — казаки. Предполагается, что они были выходцами из Украинских городов, так как в 1575 году Иван Грозный отстранил от сторожевой службы Ливенских и Елецких казаков и других воеводств, которые осмелились написать ему челобитную.
В документах переписи 1859 года значится: «Касторное – это казенное село на реке Олым с церковью, ярмаркой и базаром, в котором проживает 1105 человек мужского и женского пола». До 1923 г. село территориально входило в Землянский уезд Воронежской губернии. В царствование Екатерины II в Касторном стоится каменная церковь. Освящена она была 15 августа (по старому стилю) 1763 года в День Успенья Пресвятой Богородицы. Ректор Воронежской Семинарии Архимандрит Дмитрий (Самбикин) в документах середины 1880-х годов отмечал: «Церковь в селе Касторном, Землянскаго уезда, с приделами на правой стороне святой великомученицы Варвары, на левой – Николая чудотворца, каменная с колокольнею, построена в 1779 году. Земли пахотной 30 десятин и сенокосной 3 десятины. В ограде кроме каменной караулки две каменных кладовых. Прихожан 1660 душ. Два штата. Деревни: Московский Колодезь (3 версты), Отрада (5 верст), Николаевка (7 верст), Покровская (2 версты), Знаменская (2 версты), Дмитриевская (2 версты), Ключи, Андреевка, Архангельская, Знамено-Архангельская, Ново-Успенская».
В 1872-1873 годах в Успенской церкви упоминаются священники Павел Дионисьевич Троицкий, служивший до этого в Успенской церкви слободы Монастырщенка в Воронеже и Николай Скрябин. На рубеже XIX-XX веков в штате Успенской церкви числились: три священника (Иоанн Николаевич Богомолов, Димитрий Иванович Нечаев и Тихон Песков), диакон (Александр Николаевич Минервин) и два псаломщика (Петр Саввич Смирнов и Иван Курбатов). У церкви отмечено 33½ десятины земли. Дворов в приходе в это время насчитывалось 536, в них проживало 4125 человек.
П. Никольский в своих трудах отмечает дату постройки церкви – 1799. Священник Димитрий Нечаев упоминается также в 1912 году: «26 августа 1912 года утром в Касторенской приходской церкви при большом стечении населения благочинный 3-го округа, священник Дмитрий Нечаев отслужил заупокойную литургию и благодарственный молебен в дни празднования 100-летия Отечественной войны 1812 года».
Церковь в 1937 году была переоборудована под дом культуры. До снятия колоколов службу в церкви отправлял благочинный, отец Дмитрий Нечаев. Всю жизнь он вел летопись Касторной. Но летопись до нас не дошла, погибла в огне революции. В настоящее время Успенская церковь является памятником истории и культуры народов Российской Федерации и объектом культурного наследия.
