Покровская с другою теплою церковью Николаевскою каменные, обнесенные обширною каменною оградою, находятся недалеко от крепости. Здесь до 1783 года был мужской монастырь, основанный в первой половине XVI века иеромонахом Пафнутием. По учреждении штатов, когда монастырские вотчины отошли в казенное ведомство, он имел еще возможность остаться на своем иждивении. Но средства эти мало-помалу начали оскудевать, и в 1783 году жившие тут иноки разошлись по разным монастырям, а монастырские церкви с того времени обращены в приходскую Покровскую.
В Покровском монастыре в XVI веке были церкви Покровская деревянная и Никольская с приделом Сергия Радонежского каменная, которая была поправлена в 1674 году. Не смотря на поправки, она служит замечательным памятником нашего церковного зодчества XVI века. Покровская церковь, вместо деревянной, построена каменною в половине XVII века. При ней была трапеза и придел св. Иоанна Златоустого, а под трапезою хлебня и хлебодарня. На колокольне же в то время поставлены боевые часы. Церковь эта сгорела в 1680 году во время большого пожара и поправлена в 1682 году.
Здесь особенно замечательна икона Одигитрии Божией Матери, по письму относящаяся к XV или XVI векам. В 1833 году при Покровской церкви, где погребен основатель монастыря, устроен придел св. Пафнутия Боровского. Приход при церквах существовал и в то время, когда они были монастырскими, теперь при одном штате прихожан 132 души мужского пола и 164 женского. К Покровской церкви 1 октября бывает крестный ход из собора.