Из жития преп. Пафнутия известно, что новый каменный храмна месте прежней деревянной церкви был расписан иконописцами Митрофаном и Дионисием. Собор был столь великолепен, что ему дивились даже московские князья. Просуществовал белокаменный храм чуть более ста лет.
В конце XVI века по повелению и на средства царя Федора Ивановича вместо старого белокаменного строится новый кирпичный храм. Освящен он был в 1589 году и именовался по-прежнему храмом Рождества Пресвятой Богородицы. Шлемовидное оформление пяти куполов собора придавало ему суровость, воинственность и грандиозность. Алтарь от центральной части собора сначала отгораживала кирпичная стена, затем вместо нее был установлен иконостас. В южной стороне алтаря за кирпичной стеной устроен придел в честь Федора Стратилата, а к северной наружной стене примыкает как самостоятельная церковь придел Великомученицы Ирины. Эти имена взяты не случайно, приделы назывались именами Небесных покровителей царя Федора и царицы Ирины, сестры Бориса Годунова. Кресты на соборе венчаются царскими коронами, что тоже не случайно – собор строился под покровительством царя.
Известно, что Федор Иванович приезжал сюда на богомолье в 1592 и 1595 годах. За 400 лет своего существования собор много раз подвергался переделкам. В середине XVII века с южной, западной и северной сторон были построены паперти, несколько позже растесаны окна и изменена их форма. В XVII веке надложены главы – вместо шлемовидных окончаний были поставлены восьмерички, чтобы приблизить собор по высоте к появившейся в конце XVII века новой высокой колокольне. В целях увеличения площади собора в 1837 году к задней стене (на место бывшей ветхой паперти) пристраивается кирпичная трапезная, сохранившаяся до наших дней. Разница в их постройке — 250 лет. Во время проведения реставрационных работ специалисты решили сохранить трапезную, обновить ее, чтобы можно было как на диаграмме проследить за изменениями архитектурных форм. Кроме того, пристройка к собору, выполненная в формах позднего классицизма, интересна тем, что она является самым поздним из всех сооружений монастыря. В 1997 – 98 гг. в помещении пристройки устраивается придел в честь прп. Пафнутия. Есть еще входы в собор с южной и северной сторон.
В прошлом снаружи на стенах собора в отдельных местах была роспись, но к середине XIX века она сохранилась только над южным и северным порталами под укрытием железных зонтов.
Внутри собор расписан иконным письмом византийского стиля. Нижнюю часть северной и южной стен церкви Рождества Богородицы занимает цикл жития преп. Пафнутия Боровского. В разные времена фресковая роспись дважды была записана маслом, только в приделе Федора Стратилата сохранились некоторые незаписанные сюжеты. Лишь в XX веке, после возвращения монастыря Церкви, реставраторам удалось восстановить фрески во всей их былой красоте.
В 1920-годы собор превратился в ангар хозяйственного назначения, который с каждым годом ветшал и разрушался. 1954 году рухнул центральный барабан собора, раздавив находившиеся там два учебных зерновых комбайна (в монастыре в то время размещалось сельскохозяйственное учебное заведение). В ходе реставрационных работ, начатых в 1962 году, было обнаружено, что причиной раскола стен является длительный процесс деформации фундамента. Вскоре процесс восстановительных работ остановился: при раскопке фундамента в Южной части собора возле алтаря, где сейчас находится рака с частичкой мощей Преподобного, техника перестала подчиняться, и на рабочих напал сильный страх. Работы были временно прекращены, но по возобновлении работ все снова повторилось. Реставраторы решили это место оставить, и до сих пор оно остается нетронутым, без фундамента.
Своды центрального купола собора и четырех боковых главок поддерживаются четырьмя столбами, два из которых находятся в середине церкви, а два – в алтарной части за иконостасом. Большой интерес представляет целая система голосников, установленных в специальных местах на разных высотах для усиления акустики собора. Самый большой голосник располагается в северо-западном столбе, его глубина и внутренний диаметр составляют около 1 метра, диаметр горловины – 15-18 сантиметров. В северной стене, почти от самого западного внутреннего угла собора, имеется дверной проем, отсюда начинается ход в тайник под крышей. Лестница устроена в толще стены. Поднимаясь вверх и делая несколько оборотов, она затем продолжается в восточной стене и выходит на средний алтарный свод. Здесь устроено небольшое помещение для хранения казны и других ценностей.
Есть легенда о двух подземных ходах, начинающихся где-то в соборе и ведущих в Калугу и Москву. Легенда подкрепляется тем, что монахам из Пафнутьева монастыря было разрешено торговать в Москве, где находилось подворье в районе современного Китай-города на Лубянке, а также в Калуге, куда монахи, чтобы не встречаться с мирскими соблазнами добирались по подземным ходам. Полы в соборе в настоящее время каменные, с подогревом, но в прошлом они были выложены железными плитами.
