В одной версте от обители, в монастырском лесу на истоке в 30-х годах XIX века была построена деревянная часовня, а в начале 1880-х годов на месте разобранной соорудили каменную с деревянным верхом холодную церковь во имя Божией матери «Всех скорбящих Радость». Освящал ее в 1884 году архиепископ Казанский и Свияжский Палладий. Церковь была небольших размеров — 15 на 9 аршин. Дубовый иконостас был четырехъярусным. Каждый богомолец, будучи в пустыне, посещает это святое место. С благоволением испивает воду родника, вытекающего из-под горы, и молитвенно вспоминает подвижнические труды архимандрита Виссариона по устройству обители и этого источника.
