Монастырь в селе Ковыляй был обязан своим появлением благотворительной деятельности княжны Надежды Даниловны Бибарсовой, представительницы старинного знатного татарского рода, принявшего православие в конце XVII века. Русское село Ковыляй Краснослободского уезда Пензенской губернии сложилось в конце XVI — начале XVII веков как часть первой засечной черты. До Смуты село было вольным, но затем, в результате пожалований поместий служилым мурзам, верстанным по Темникову и Кадому, попало в крепость к татарским помещикам, несшим охрану сначала Темниковской, а потом и Саранской засеки. Крестившиеся владельцы Ковыляя превратились в русских князей, некрестившиеся со временем переселились. В селе Ковыляй, неподалеку от дома Бибарсовых, проживала крестная мать Надежды Даниловны княжна Евдокия Борисовна Кугушева. Она близко знала первоначальницу Дивеевской общины Агафью Симеоновну Мельгунову и часто навещала её с 1760 года по 1789 год в её куще при храме Казанской иконы Божией Матери близ села Дивеево. Княжна Евдокия оказывала помощь больным, бедным семьям. Княжна Надежда находилась под добродетельным примером своей крестной матери. Она также помогала больным, раздавала святыни, привезенные из Киева, смазывала больные места обращавшихся к ней маслом от неугасимой лампады Казанской иконы Божией Матери.
Деревянная Никольская церковь появилась в Ковыляе до 1614 года, а в 1699 году прихожане срубили себе новый храм, во имя Рождества Христова. По инициативе княжны Надежды и её родственников в селе Ковыляй, где она проживала, взамен обветшавшего храма в 1826 году был построен новый каменный храм во имя Рождества Пресвятой Богородицы с приделами Николая Угодника, Симеона Богоприимца и Анны пророчицы. 18 сентября 1826 церковь освятил епископ Пензенский Амвросий. Этот храм стал колыбелью монастыря. Вокруг него собралась первая группа мирских черниц.
Вытянутый план составляют квадрат храма, прямоугольник трапезной со скругленными углами и квадрат колокольни; с востока замыкается прямоугольной апсидой. На примере Рождественской церкви видно, как в классицизме противопоставляются простые геометрические формы — куб и цилиндр. В объемной композиции уравновешены ротонда храма с низким цилиндрическим объёмом и пологим куполом, увенчанным главкой, и трехъярусная колокольня. Между храмом и колокольней — трапезная, увенчанная главкой и соответствующая по высоте четверику храма. Северный и южный фасады храма — четырёхколонные портики тосканского ордера; цоколь трапезной обработан рустом. В интерьере храм перекрыт парусным, трапезная — коробовым сводами. Рождественская церковь является памятником архитектуры позднего классицизма.
Официальным устроителем богадельни выступил князь Я. Д. Бибарсов, как старший в семье и основной владелец села, на самом деле этим занималась Н. Д. Бибарсова. Решившая основать обитель, она трижды испрашивала благословение на открытие обители: у старца-затворника Скановой пустыни иеромонаха Арсения, известного своей подвижнической жизнью; у старца-затворника Иакова; и у старца Саровской пустыни преподобного Серафима. Получив благословение трех старцев, княжна занялась устроением обители.
С 1826 года по 1833 год княжна была занята подготовкой плана устроения богадельни при новой церкви. Первый вариант общины возник в виде богадельни, но цель ставилась иная: приют-больница должна была перерасти в полноценный монастырь, устроенный по старческим канонам. В 1833 году, со смертью брата, Н. Д. Бибарсова стала полновластной владелицей Ковыляя. В дальнейшем она употребила все своё наследство на обустройство монастыря. Помещица построила возле приходской церкви первое келейное здание.
В 1834 году основательница поселила во флигеле первых 12 сестер, в основном девиц и вдов из ближних сел. Руководительнией общины стала по благословению старца Якова — Агафья Васильева. В 1842-1847 годах княжна Бибарсова усиленно занималась укреплением материальной стороны обители, передала богадельне дом, две десятины усадебной земли, четыре десятины пашни за околицей. Одновременно уточнялся устав, ориентированные правила лучшего богадельного учреждении страны — женского странноприимного Аносинского дома под Москвой. В 1847 году Пензенская гражданская палата утвердила дарения, а епархиальное управление — устав.
Становление обители продолжилось при настоятельнице Татьяне Мартыновне Мещериной, жившей при богадельне со дня её основания. Очень тяжелыми для Ковыляя выдались 1848-1851-е годы: сначала холера повергла село в ужас, потом недород подкосил приход и довел крестьян едва не до нищенской сумы. В стенах обители не было ни одного случая заболевания. В Рождество-Богородицкую богадельню потянулись больные женщины из многих уездов. К 1850-м годам малочисленное собрание женщин-черничек превратилось в некрупный, но, самый настоящий монастырь. Материальное благосостояние обители: разные хозяева, в том числе крестьяне, пожертвовали старицам ещё 12 десятин земли; рядом с первым корпусом возле храма попечительница построила ещё четыре деревянных келейных здания.
В 1860-е годы в несколько этапов богаделенное учреждение было признано сестринской Рождество-Богородичной общиной. В 1861 году настоятельница Татьяна Мещерина купила 25 десятин пашни в полутора верстах от Ковыляя, — княжна Бибарсова присмотрела этот участок, чтобы перенести кельи в более тихое и приличествующее монастырю место.
В 1862 году на новом участке появился первый бревенчатый корпус и одновременно были заложены фундаменты двух храмов — летнего и зимнего. Но основательнице не суждено было увидеть плоды своего труда: в 1862 году Н. Д. Бибарсова после тяжелой и продолжительной болезни скончалась на руках сестер-общинниц. Вплоть до своей кончины княжна Надежда принимала самое непосредственное участие в жизни общины, но всегда избегала брать на себя наставничество. Сестры видели в ней образец христианского самоотвержения, смирения и любви. Истратив все свои сбережения на богадельню, она бедствовала, но никогда никому не жаловалась. Княжна Надежда была погребена при церкви в с. Ковыляе, позже её гробница была перенесена в склеп монастыря. Склеп основательницы был уничтожен в советское время.
В том же 1862 году в пожаре сгорели все хозяйственные постройки, половина келий и больничка. Обитель вынуждена была в срочном порядке перебираться за полторы версты от села, на место, выбранное для обители ещё покойной княжной. 22 сентября 1863 года уже была освящена больничная теплая церковь во имя почитаемой населением иконы Божией Матери «Всех скорбящих радость». Храм с одной стороны примыкал к трапезной, с другой — к больнице. Вторую, холодную Троицкую церковь, каменщики в основном закончили к 1868, но полностью он был завершен в 1873 году. Троицкий собор позднее был перестроен в теплый, так как больничная церковь для общины, насчитывавшей уже более ста человек, оказалась тесноватой. В подклете Троицкой церкви в 1864 году была перезахоронена кн. Бибарсова, покоившаяся поначалу возле приходской церкви в селе.
Преемницей Татьяны Мещериной стала игумения Агафия, ставленница пензенских архиереев. Игумения Агафия довела юридическое оформление монастыря до логического конца и построила основную часть зданий обители. В 1875 году Святой Синод по ходатайству епархиального руководства и выборных людей от Краснослободского уезда утвердил общину в статусе монастыря, присвоив ему другое наименование — Троицкий. Всего на становление монастыря ушел 41 год. К середине 1870-х годов число постриженных сестер выросло до 15 человек при 120 послушницах.
В 1884 году её сменила игумения Феофания. Настоятельница игумения Феофания Турусова ещё во чреве матери была отмечена старцем преподобным Серафимом как будущая особенная молитвенница. Её мать мещанка города Ардатов, отличавшаяся благочестием, незадолго до смерти старца обратилась к нему за благословением, и, оплакивая свои грехи, жаловалась, что недостаточно может замолить греховность свою. Тогда старец сказал: Не печалься, радость моя, будет за тебя особенная молитвенница. По собственному влечению в возрасте 9 лет Феодосия поступила в Покровскую общину г. Ардатов, в 1854 году Саровский старец Агафодор благословил молодую послушницу в Ковыляйскую обитель обучать сестёр рукоделию и церковному пению. На время правления иг. Феофании и сменившей её игумении Афанасии пришелся расцвет обители, и это касалось не одной экономики: были созданы крупные промысловые мастерские, в том числе художественные. В 1885 году была учреждена иконописная школа-мастерская, в которой работали до 15 сестер-изографов. При школе вскоре открылась ещё одна мастерская — чеканки по золоту. Из Ковыляйского монастыря вышло немало первоклассных окладов на киоты и иконы. Ещё две мастерские занимались швейным промыслом и вышивкой золотыми и серебряными нитями. Социально-призренческая линия, принятая за основу деятельности обители, распространилась не только на больных женщин и сирот «из семей духовного звания», — монастырь брал на содержание престарелых священников, отслуживших большой срок в храмах. Для них были построены квартиры, полностью обеспечивавшиеся всем необходимым для спокойной старости. К 1895 году штат Ковыляйского монастыря состоял уже из 82 монахинь и 230 послушниц.
В 1888 году сестры заложили второй каменный собор, так как прежний уже не вмещал общину. 12 июля 1897 года епископ Пензенский и Саранский Павел освятил кресты, которые в тот же день были водружены на собор, а 13 июля владыко освятил храм в честь св.Харлампия и блаж. старицы Феофании. Строительство собора продлилось полтора десятилетия; к 1902 году он уже был полностью готов. Вместе с собором строилась многоярусная колокольня. Новый собор был вторично освящен в период с 1903 года по 1905 год; прежний собор, обращенный в церковь при трапезной, выполнял функции теплого. Больницу тоже перестроили в камне. С западной стороны монастыря возник второй городок, имевший в длину свыше 120 м.: это гостиницы для богомольцев, каменные корпуса для мирского персонала, бытовые службы, конюшни, каретные сараи, кузница, несколько лавок. Здесь все было подчинено обеспечению нормальных условий для паломников. Ковыляй превратился в место обязательной остановки на тропах, которые вели из Пензенской, Симбирской, Казанской, Саратовской губерний в Саров, Дивеево, Арзамас, Темников. В монастыре имелся водопровод, о котором уездные города только мечтали.
В 1910-х годах число насельниц достигло 370 чел. По масштабам Троицкая обитель встала в ряд крупнейших монастырей мордовского края. Комплекс зданий состоял из трех храмов, пяти келейных корпусов, трех флигелей, гостиниц, усадебных построек, хозяйственных дворов. Имелось училище для девочек и больница. К концу XIX века. монастырь значительно увеличил хозяйство. За ним числилось уже 763 дес. пашни, леса и покосов, ветряная мельница, подворье в Краснослободске, кирпичные сараи, мастерские, крупные счета в банках, хутор. В 1912 году земельные владения сестер составляли 847 дес., что соответствовало крупному помещичьему имению. К революции 1917 года положение монастыря ещё более упрочилось.
Все рухнуло 4 января 1918 года Крестьяне д. Сузелятки Урейской волости постановили изъять монастырский хутор. С этого начался разгром обители. 6 июня 1918 года состоялось изъятие первой половины монастырской земли, 30 августа остальной. Последняя настоятельница монастыря игумения Викторина всеми силами пыталась сохранить обитель и даже организовала сельхозартель, занимавшуюся поставками государству сельхозпродукции. В страшные 1917—1926-е годы агонии монастыря всеми силами матушка боролась за его жизнь. В 1926 году в год последнего и самого жестокого натиска на монашествующих монастырь был разогнан властями, монастырь был закрыт. Имущество разграблено, постройки, храмы разрушены, разобрана ограда. Здания обители пошли на слом. В частности, из добытого таким образом стройматериала был возведен Дом соцкультуры в с. Ельники. От всех построек монастыря сохранился один каменный корпус, в котором долгое время располагалась участковая больница.
В 1927 году игумения Викторина переехала на жительство в г. Темников с семью сестрами бывшего монастыря. В феврале 1930 года игумения была арестована и расстреляна. Ей было предъявлено обвинение в антисоветской деятельности. Несколько сестер получили разные сроки заключения или ссылки.
В настоящее время в Старом Ковыляе возрожден женский монастырь, а приходская Рождесто-Богородицкая церковь передана обители в качестве подворья. С 1993 года Саранская и Мордовская епархия вела переговоры о возвращении верующим остатков Ковыляйской обители, но корпус был возвращен только в 2001 году. Трудники крушили многочисленные стены-перегородки, образовывавшие больничные палаты; сестры выгребали камни. Когда сломали стену, отделявшую бывшую операционную палату, под настилом линолеума обнаружили очертание полукруга амвона прежних лет. Таким образом удалось восстановить границы бывшего храма. Подготовлен проект восстановления монастыря в полном объёме.
С 2002 года настоятельницей монастыря является монахиня Магдалина. Вместе с ней в святой обители молитвенный подвиг несут 2 монахини, 2 инокини, 5 послушниц.
В день престольного праздника иконы Божьей Матери и «Всех скорбящих радость» Владыкой Саранским и Мордовским Варсанофием освящена домовая церковь монастыря. В возвращенном корпусе с Пасхи 2004 года проводится богослужение в домовой церкви в честь иконы Божией Матери «Всех скорбящих радость».
В настоящее время восстановительные работы осуществляются на пожертвования прихожан.
