Пока Святейший Синод рассматривал ходатайство об испрошении Высочайшего соизволения на открытие обители и на принятие дара, высокопреосвященный Алексий начал действовать. 17 сентября 1862 года был образован строительный комитет, который должен был изыскать средства и приступить к постройке храма при источнике. Комитет состоял из настоятеля Кизилташской киновии игумена Парфения, убитого татарами 22 августа 1866 года, священника из с. Салы, ныне с. Грушевка, Иоанна Новицкого, кишлавского церковного старосты Иова Узунбеева и кишлавского дьячка Стефана Михо. Игумену Парфению выдали из консистории сборную книжку для пожертвований, а дьячок Михо должны был смотреть за строительным материалом.
Средства для строительства церкви были собраны очень быстро, и уже в мае 1863 года строительный комитет приступил к сооружению храма, который был построен в невиданно короткие сроки, почти за два месяца, и к 22 июля того же года был полностью закончен. Строительство осуществилось так стремительно благодаря необыкновенной энергии и хозяйственной деятельности кизилташского игумена Парфения. Он создал в короткий срок из убогой киновии процветающую обитель во имя св. Стефана Сурожского, и теперь по благословению владыки Алексия помогал новому монастырю, часто приезжая сюда верхом через горы из Кизилташа. Первая монастырская церковь во имя св. преподобномученицы Параскевы – в какой-то мере памятник игумену Парфению, принявшему мученическую кончину от рук убийц.
Храм вышел небольшим, площадью всего 5 кв. саженей, но этого на тот период было достаточно. Он был окружен крытой галереей, где стояли молящиеся. Пол в храме был деревянный, а в галерее – глиняный, монахини ремонтировали его каждую неделю, гладко заделывая трещины и выбоины. Высокопреосвященный Алексий распорядился, чтобы в церковь были переданы церковная утварь, священнические облачения и колокол весом в 12 пудов, из вещей, собранных странником Андроником, впоследствии иноком Кизилташской киновии. Два других колокола строительный комитет приобрел в Симферополе. Одежда на престол и жертвенники была выдана из архиерейской Крестовой церкви.
В день памяти св. преподобномученицы Параскевы, 26 июля 1863 года, Владыка Алексий при большом стечении народа торжественно освятил вновь сооруженную церковь, и с того дня в ней начались богослужения. Сначала для служения сюда был направлен из Кизилташской киновии престарелый иеромонах Павел, бывший при этом храме до 1868 года, а потом его место занял иеромонах Бахчисарайского Успенского монастыря Прокопий, который долгие годы был духовным наставником насельниц Параскевиевской обители.