При многих русских монастырях существовали скиты – места для уединения и безмолвия для монахов-отшельников. Так и монахами Валуйского монастыря изначально в лесу был построен деревянный дом, но в дальнейшем скит был обустроен в меловых пещерах в километре от монастыря за рекой Оскол. Спелеологические исследования, проведенные в конце XX века, показали, что пещеры в Белгородской области имеют естественное происхождение. Точное основание пещерного скита установить достаточно сложно. По ряду косвенных признаков его можно датировать серединой 17 века.
В начале 20 века в связи с неудовлетворительным состоянием подземных галерей в пещерах был проведен комплекс восстановительных работ. Наиболее опасные места стен и потолка пещер были укреплены. Образовавшиеся трещины и щели заделаны штукатуркой. Обустройство скита началось в 1890 году, в основном на пожертвования прихожан. Работы велись как силами самой монастырской братии, так и с привлечением наиболее доверенных людей из местных жителей. Пещеры были расчищены, расширены и укреплены, в 1910 году осмотрены архитектором, признавшим «грунт земли крепким и пещеры безопасными», также в них был создан храм во имя священномученика Игнатия Богоносца. Пещеры расположены на высоте 106 метров выше уровня воды в реке.
Предполагается, что общая протяженность подземных ходов около одного километра, в настоящее время расчищено 640 м. Ширина вырытых пещер до одного метра, а высота – около трёх. Подземный храм был освещён 4 мая 1914 г. во имя Игнатия Богоносца, святого, принявшего мученическую смерть за христианскую веру в I в.н.э. Вверху на горе, над пещерами, в 1916 г. строился храм во имя Преображения Господня, так и оставшийся незавершённым. В 1917 г. церковь сожгли.
Восстановительные работы начаты в 2005, в 2007 открыт культурно-исторический комплекс «Пещерный монастырь во имя Игнатия Богоносца», переданный РПЦ. В настоящее время на этом месте находится храм Игнатия Богоносца.
