На склоне восточного хребта Атаманских гор в нескольких десятках метров от храма иконы Божией Матери «Всех скорбящих Радости» существует пещерный скит, устроенный подвижниками духовных подвигов в 1820-е годы по образцу пещер Киево-Печерской лавры. Известны их имена: крестьянин села Тримихайловки, ныне Сухоречки, Никита Лоскутов, казак Иван Иванович Гнедышев с товарищем своим Тимофеем и несколько человек из Бузулука. Как свидетельствуют письменные архивные источники, 29 июня 1875 года в пещерах состоялась беседа великого русского писателя Л.Н.Толстого со старцами, устроившими пещерный скит. Собственно с подземных келий в недрах Атаманских гор и начинался Спасо-Преображенский Бузулукский мужской монастырь.
В настоящее время монастырские пещеры представляют собой два извилистых тоннеля, несколько комнат и вертикальный колодец. Все сооружения, кроме конечных помещений ходов, выложены красным кирпичом. Разрушенные участки сводов и стен восстановлены современным кирпичом. Оба тоннеля начинаются с полочки на склоне Атаманской горы и уходят вглубь с небольшим подъемом. Их размер около двух метров в высоту и полуметра в ширину. Расстояние между входами составляет примерно 20 метров. Недалеко от входов оба тоннеля сближаются, в стене между ними имеется проем. Далее в левом тоннеле располагается вертикальный колодец, соединяющий пещеры с храмом «Всех скорбящих Радости» на поверхности. Ранее в колодце находилась винтовая лестница, места установки ее ступеней до сих пор видны на стенах. Высота колодца примерно 15 метров. Чуть дальше располагается помещение, которое имеет выход в оба тоннеля. Возможно, здесь располагался алтарь, так как на стенах видны следы висевших распятий и икон. Свод комнаты был поврежден предположительно в 1930-х годах и недавно был выложен кирпичом заново. Вблизи этого помещения в левом тоннеле расположена трехпролетная лестница, по которой можно подняться в еще одну комнату. Это помещение было сооружено позже, при восстановлении пещер. От алтаря тоннели расходятся. Между ними сооружен поперечный ход. Каждый тоннель оканчивается помещением, в котором отсутствует кирпичная облицовка. Обе комнаты длиной около двух метров, ширина и высота примерно соответствует аналогичным размерам тоннелей. На стенах можно увидеть следы инструментов, которые были использованы при сооружении пещер. Предположительно, эти помещения раньше были кельями для отшельников. Ныне обитель возрождается стараниями бузулукского иеромонаха Виталия Климова, настоятеля Свято-Преображенского храма города Бузулука.
