Церковь расположена не на горе, как остальные саровские храмы и сам монастырь, а у ее подошвы, к тому же на высоком арочном подклете. Объясняется это тем, что ее построили прямо над источником, бившим когда-то из-под горы. Он давал начало короткому ручейку, впадавшему в реку Сатис. Рядом с этим источником появились одни из первых построек монахов, поселение которых позднее переросло в Саровскую пустынь. Именно здесь, у источника, строитель Иоанн по первоначальному замыслу предполагал поставить первый Саровский храм, но потом переменил свое решение. Отсюда и неофициальное название церкви, храм над колодцем Первоначальника.
Возведение каменной церкви в честь Иоанна Предтечи над источником началось при строителе Филарете в 1747–1749 годах, было продолжено при Маркелле в 1749–1751 годах и завершилось освящением 13 сентября 1752 года. Церковь была небольшая, однопрестольная, с одной главой. Выбор названия для церкви над источником А. Н. Муравьёв объяснял так, «весьма прилично посвящена она Крестителю, над водами, на коих совершается освящение Иорданское».
В 1812 году была сделана каменная лестница, ведшая вниз к церкви по крутому откосу. Она строилась бригадой темниковских каменщиков под началом купца Андрея Мартыновича Ситникова и мещанина Ивана Алексеевича Телятникова.
В первоначальном виде церковь простояла около 70 лет. В 1820 году Саров посетил известный уже нам астраханский рыбопромышленник коллежский ассесор Кирилл Федорович Федоров, пожелавший пожертвовать деньги на расширение этого храма. В 1821 году старая церковь была разобрана, и началось строительство новой. Строительные работы окончились в 1824 году, на них Федоров пожертвовал 30 580 рублей, еще 10 тысяч рублей он передал на содержание храма.
По желанию Федорова церковь была сделана трехпрестольной, помимо главного престола, сохраненного во имя Иоанна Предтечи, два дополнительных придела были посвящены святым дня рождения и тезоименитства жертвователя апостолу Иакову Алфееву и Кириллу Иерусалимскому.
Главный престол был освящен 19 июня 1827 года епископом Тамбовским Афанасием Телятьевым. Левый, в честь Иакова Алфеева, 30 сентября 1828-го года настоятелем Нифонтом, а правый 1 июля 1834 года епископом Тамбовским Арсением Москвиным. Новая церковь в стиле классицизма имела пять глав и составляла в длину 21 метр, в ширину 15, а в высоту 38. Церковь не отапливалась. Основываясь на особенностях постройки и декора, арзамасский писатель и краевед Еремеев предположил, что автором проекта этого храма был его земляк архитектор М. П. Коринфский, построивший знаменитый Воскресенский собор в Арзамасе.
Одновременно со строительством церкви шло сооружение монастырского водопровода. Вода источника, находившегося под церковью, насосом подавалась по трубам наверх. Делалось это при помощи «машины с одноконным лошадиным приводом». Резервуар для воды емкостью 500 ведер находился в северо-восточной угловой башне, снесенной, получившей из-за этого название Водяной. Из бака по деревянным трубам вода шла в квасоварню, хлебную, больницу и другие здания. Чугунные части водоподъемной машины были изготовлены на Выксунском заводе в 1823 году. Проектировал и строил саровский водопровод мастер Егор Михайлов, уроженец Нижегородской губернии, по профессии плотник, в 1841 году перебравшийся на постоянное место жительства в Саровскую пустынь, а в 1845 году принявший монашество с именем Михаил. Все строительные работы в обители в 1840-х годах выполнены под его руководством, перестройки церквей в честь Живоносного Источника и Зосимо-Савватиевской, Успенского собора, строительство купеческой гостиницы.
Источник под церковью Иоанна Предтечи использовался не только для монастырского водопровода. К бассейну, в который был заключен источник, по праздникам совершался крестный ход, и служились молебны с водоосвящением.
В 1893 году своды над колодцем под церковью были отделаны и расписаны, арки закрыты «застекленными решетками». Годом раньше, в 1892 году, склон холма у церкви был укреплен кирпичной кладкой и контрфорсами.
В годы советской власти здание храма служило административным зданием, а источник Первоначальника был забит и замурован. Церковь Иоанна Предтечи сохранилась в изуродованном виде были снесены купола с главами, внутренний объем разделен на этажи. Во время реставрации храма источник Первоначальника был найден и восстановлен, с точностью, до обнаружения старинных лиственничных венцов колодезного сруба. Реставрация храма была окончена в конце июля 2006 года. Во время празднования 300-летия основания Саровской пустыни, храм Иоанна Предтечи был вновь освящен Святейшим Патриархом Московским и всея Руси Алексием II.
