Первый каменный храм, заложенный в монастыре, построен на месте обветшавшего деревянного Николаевского храма с приделом во имя великомученика Георгия Победоносца. Его строительство начал рыльский купец гостиной сотни Прокофий Герасимович Шелехов, который в 1731 году заключил договоры с московскими и галицкими мастерами на изготовление высококачественного кирпича, но не дожил до начала строительства. В 1733 году его дело продолжил сын Иван Прокофьевич Шелехов, испросив разрешение у императрицы Анны Иоанновны. И. П. Шелехов построил храм быстро, но по неизвестной причине (предположительно из-за нехватки средств) его долго не освящали. Есть и другая версия, объясняющая причину долгостроя и переосвящения храма. Как предполагает известный краевед Н. Сенаторский, появилось соперничество между купцами Шелеховыми и настоятелем монастыря Матфеем, который происходил из богатого знатного рода дворян Лукашевых, за право быть единственными созидателями обители. В 1747 году сестра настоятеля Анна Ивановна Забелина построила в монастыре Троицкий храм, а в 1753 году на пожертвования других родственников и игумена Матфея был в короткие сроки сооружен Николаевский собор. Завершил возведение нового храма третий представитель династии Шелеховых – Семен Иванович, который оплатил ремонтные и отделочные работы. В 1783 году было получено разрешение на выдачу антиминса в полностью подготовленный храм, который затем был освящен в честь праздника Крестовоздвижения. В годы советской власти Крестовоздвиженский храм пострадал больше других, в нем после Великой Отечественной войны размещался камнедробильный цех, была выбита стена. В настоящее время в храме завершаются внешние отделочные работы.
