В версте (примерно в 1 км) от монастыря за рекой Оскол в меловых горах устроены пещеры, а в них церковь во имя Игнатия Богоносца. Кто положил начало этим пещерам, неизвестно. Но с 1897 г. монашеская братия стала приводить их в порядок и увеличивать. С большими затруднениями шла эта работа, однажды она даже была прервана распоряжением начальства. В 1910 г. пещеры были расчищены, осмотрены архитектором, который признал в пещерах «грунт земли крепким и сами пещеры безопасными». Пещеры были расположены на протяжении более 300 сажень (около 640 м), на высоте приблизительно около 50 сажень (106 м) выше уровня воды в реке. Ширина вырытых пещер 5 четвертей (около 89 см), а высота — 4 аршина (около 3 м). В этих пещерах был устроен храм, который имеет в длину 11 аршин (около 8 м), ширину 9 аршин (около 6,5 м) и высоту 8 аршин (около 5,5 м).
Подземный храм был освящен 4 мая 1914 г. во имя Игнатия Богоносца, святого, принявшего мученическую смерть за веру в 1 в. н.э. При входе в пещеры была устроена часовня, а вверху на горе в 1916 г. строился храм во имя Преображения Господня, так и оставшийся незавершенным. Там, откуда начали рыть пещеры, был устроен скит, где братии бывало летом до 10 чел., а зимою несколько меньше. Пещеры вместе с храмом и часовнями представляли одно из украшений монастыря. «Место это напоминает гору Фавор, — пишет Т.М. Олейников, — почему благочестивая душа наименовала все это место «Фаворским Богоносче-Игнатиевским пещерным скитом»»
В 2005 году был создан попечительский совет по восстановлению святынь монастыря. Надземный деревянный храм священномученика Игнатия Богоносца сооружён в 2005—2007 годы на вершине Лысой горы над пещерами. В это же время были расчищены подземные переходы и пещерный храм, обустроена смотровая площадка и прилегающие к храму территории, разбита парковая зона.
