Инсарский Свято-Ольгинский женский монастырь возник в конце XIX века как подворье Пайгармского Параскево-Вознесенского монастыря. В комплекс, кроме храма, входили два корпуса, жилой и хозяйственный, а также отдельно стоящая колокольня.
В середине 1880-х годов настоятельница Пайгармского монастыря игумения Параскева купила в Инсаре небольшой участок земли рядом с Базарной площадью и построила небольшую гостиницу для монахинь, приезжавших в уездную столицу по делам. В середине 1890-х годов живший по соседству с подворьем коллежский асессор Александр Алексеевич Дельфинский предложил игуменье Параскеве часть своей усадьбы, выходившей углом как на Базарную площадь, так и на ул. Московскую. Игуменья дар приняла, но расширять подворье не стала, т. к. денег свободных в ту пору у монастыря не имелось.
Замысел А. Дельфинского состоял в том, чтобы рядом с подворьем появилась часовня. После 1895 года следующая игуменья Евпраксия обратила внимание на Инсар и очень скоро пришла к единодушному с Дельфинским мнению насчет часовни, но планы обе договаривающиеся стороны значительно расширили. Вместо часовни договорились построить часовню-церковь, то есть полноценный храм с постоянным штатом священнослужителей. При храме предполагалось построить кельи для 50-60 сестер. Дельфинский брал все расходы по строительству на себя, но благотворитель ставил условие, что новая церковь будет освящена в честь святой Ольги, княгини Киевской, одноименницы дочери императора великой княжны Ольги Николаевны. Дельфинский подал соответствующее прошение епископу Пензенскому Павлу в начале 1897 года и тогда же сделал первый взнос на строительство – 2000 руб. Епископ Павел в свою очередь подал прошение на имя императора Николая Второго, так как отчуждение усадебного места шло по административным каналам. Всего под подворье предполагалось отвести 205 квадратных саженей земли. В мае 1898 года храм заложили, строительство пошло полным ходом. Но тут умер жертвователь, в права наследования вступила его жена О. П. Дельфинская, которая, приведя в порядок запущенные финансовые дела мужа, смогла выделить на храм только часть средств, предусмотренных сметой. Остальные деньги вложил Пайгармский монастырь. К августу 1900 года весь комплекс подворья уже был готов, а 6 сентября произошло освящение храма. Зодчие спланировали подворье очень рационально и эффективно, как органичную часть обрамления Базарной площади, на противоположной стороне которой стояла Христорождественская церковь. Подворье стало вторым ключом, которым открывался новый центр, поэтому Свято-Ольгинская церковь в стилевом отношении совсем не совпадала с Христорождественской церковью, а масштабами почти не разнилась: Христорождественская церковь ставилась как «ротонда на четверике» и куполом напоминала о кратковременной моде на псевдоготику, а Свято-Ольгинский храм четко ориентировался на новорусские мотивы второй половины ХIХ века. Авторы проекта поставили на церковь 15 глав, чтобы уменьшить впечатление тяжеловесности фасадов и громоздкости мощного куба, его массивных пристроев, увенчанных треугольными фронтонами.
Во дворе, за храмом, были построены два корпуса, большй жилой и малый хозяйственный, с двумя двориками. Кроме этих строений, с южной стороны храма стояла отдельная часовня-звонница, своеобразный храм «под колокола», представлявший из себя куб, на который была поставлена звонная восьмигранная башня, перекрытая шатром. А весь комплекс замыкался в квадрат, периметр которого формировался зданиями, а промежутки между ними заделывались декоративными стенами. В первое десятилетие своего существования подворье Пайгармского монастыря сложилось в крупную женскую общину, которую настоятельница Евпраксия понимала не столько как филиал Параскево-Вознесенской обители, сколько как самостоятельный иноческий организм. При освящении в Свято-Ольгинскую церковь из монастыря передали две иконы, получившие широкую известность среди верующих – мученицы Параскевы с вложенными в нее частицами мощей святой и образ Богоматери «Утоли моя печали». Инсарцы относились к этим святыням с глубочайшим почтением, а для иконы «Утоли моя печали» они сразу же заказали серебряную ризу, деньги на которую вносили все жители города. Чтобы упрочить положение общины, игуменья Евпраксия в 1904 купила для подворья значительный участок земли под Инсаром, так называемую дачу «Губаревка»; здесь же отделили уголок под кладбище и построили деревянную церковь во имя апостолов Петра и Павла. К 1907 году число сестер на подворье превысило 80 чел. К началу 1909 года вопрос о придании подворью статуса монастыря был уже решен: ходатайство епископа Митрофана получило одобрение митрополита Антония Вадковского, первоприсутствующего Синода. В июне 1909 года последовал указ Св. Синода о присвоении пайгармскому подворью наименования монастыря, названного по храму Свято-Ольгинским. Одновременно монахиня Клавдия была возведена в сан игуменьи. В новом статусе монастырь прожил до революции, затем был закрыт. Монастырские здания использовались в хозяйственных нуждах, а в Свято-Ольгинской церкви располагался краеведческий музей.
Главы с церкви были снесены, колокольня разобрана до основания. В 1995 году в Инсаре появились несколько монахинь, но власти их изгнали. Спор о монастыре шел несколько лет. Правительство Мордовии выносило решение о передачи обители Саранской епархии, а затем это решение отменяло. Окончательно этот вопрос решился только в 1998 году. В настоящее время монастырь, руководимый игуменией Анастасией, активно восстанавливается. Поднимаются главы Свято-Ольинской церкви, приводится в порядок интерьер. В обители подвизается до 30 сестер.