Церковь расположена в слободе Новая Мельница, находящейся вблизи г. Острогожска. Документы свидетельствуют, что в этой слободе в первой четверти 18 века существовала церковь преподобного Иоанна. Так, в Ведомости о церквах за 1721 год сказано: « …слободы Новой Мельницы (Острогожского уезда) церковь Иоаннна Ветхопещерника. При ней налицо состояли: один священник и один пономарь».
Посвящение церкви преп. Иоанну Ветхопещернику, мало известному святому, показывает, что она устроена каким-либо Иоанном в честь своего ангела. Известно, что в то время в Острогожске имя Иоанн носили два полковника (главные начальники Острогожского полка) Тевяшевы, известные своим благочестием и любовью к постройке церквей в своих имениях (Колыбелка, Марки и др. слободы). Подтверждается это тем, что Тевяшовы и впоследствии благотворили храму преп. Иоанна Ветхопещерника. В 1759 г. в Ведомости о церквах, при которых нет причетников, упоминается «Острогожского заказа слоб. Новомельницы церковь Иоаннна Ветхопещерника». При ней тогда не было дьячка и пономаря.
Ныне существующая в Новой Мельнице каменная церковь построена в 1808 г. стараниями дочери бригадира Татианы Тевяшовой. Слобода эта названа Новой Мельницей, вероятно, потому, что в г. Острогожске на реке Сосна издавна была известна мельница, принадлежащая Воронежскому архиерейскому дому, а на месте нынешней слободы устроена другая – в сравнительно позднейшее время, на той же реке Сосне мельница, слывшая в народе под названием «новая» мельница. Но, видимо, что и эта мельница существовала в начале позапрошлого века.
В то время при церкви преп. Иоанна находилось 33 десятины земли подцерковной сенокосной и пахотной, прихожан насчитывалось около 500 душ. При ней был один штат. Церковь эта приписана с 1867 года к церкви Живоносного Источника в пригородней слободе Харьковской. На своё содержание церковный притч получал проценты с 550 рублей, полученных за поминовение.
