Строительные работы начались в 1793 году. В этом же году при обители была учреждена епархиальная больница. В 1805 году в обители случился пожар, оставивший после себя одни обгорелые стены. Только отделывавшийся тогда Троицкий собор не пострадал. Это потребовало новых забот. Неутомимый труженик иеромонах Арсений старался каждый год устраивать для монастыря что-нибудь новое и полезное.
В 1811 году была завершена отделка Троицкого собора. Храм впечатлял своими размерами, в переводе на современную метрическую систему ширина его 26,4 м, длина – 37 м, высота – 32,7 м и изяществом отделки. Цоколь был облицован гранитом; вводившие в храм 12 ступеней также были вытесаны из гранита. Собор был украшен колоннами и лепниною и увенчан тремя главами. Внутри возвышался трехъярусный иконостас, весь вызолоченный на полимент.
Роспись была выполнена известным ярославским живописцем Лонгином Ивановичем Шустовым безвозмездно – из усердия к славе Богоматери. Последний поведал братии, что во время производства работ к нему приходил таинственный старец, благолепный видом. Желая узнать его, иконописец неоднократно посещал братскую трапезу, надеясь увидеть его между монахами, но безуспешно. Впоследствии, молясь над гробом преподобного Дорофея и вглядевшись в его икону, Шустов узнал в ней того старца. Лонгин Иванович преставился 23 февраля 1804 года и был погребен в северо-восточном углу соборной церкви, украшенной его трудами. Роспись пришлось завершать его сыну Афиногену.
После революции обитель была упразднена и разграблена. Следы чудотворной иконы затерялись. В 20-х годах прошлого века в монастырских зданиях размещалась колония для беспризорников, а с 1936 года пустынь была превращена в один из центров Волголага. Здания были частью разобраны, частью взорваны. Одна пожилая женщина, жительница Переборов, рассказывала, как ее и других молодых женщин посылали счищать золото с монастырских куполов. Теперь над священным местом обители плещется рукотворное море…
