В 1552 году в Каргополе случился пожар, после чего стал формироваться новый центр этого старинного города — Соборная площадь. Собор в честь Рождества Господа и Спаса нашего Иисуса Христа, строился десять лет и был освящён в 1562 году. Христорождественский собор появился не на пустом месте, до него здесь стояла деревянная церковь с тем же посвящением, и пожар, таким образом, лишь подтолкнул каргопольцев к постройке каменного храма. Средств на осуществление своего благочестивого желания они не пожалели, пригласив мастеров, по-видимому, из самого Новгорода.
Вскоре на этом месте вырос первый каменный храм Каргополя — один из первых каменных храмов Русского Севера. Христорождественский собор и по сию пору остаётся недоиследованным. Поэтому высказанное выше предположение о новгородском происхождении его строителей пока остаётся лишь предположением, основанным на самом его поверхностном огляде. Историк А. Г. Мельник пишет: «В подтверждение данного мнения (о постройке собора новгородскими мастерами) можно привести следующие аргументы. Смешанный тип кладки собора характерен для зодчества Новгорода того времени. По-новгородски трактованы чуть ли не все архитектурные элементы памятника. Но особенно красноречиво указывают на руку новгородских мастеров такие мелкие детали, как тонкие карнизы в верхних частях лопаток, срезанные углы алтарных столпов, оформление южного портала, архивольты с нижней выступающей полочкой аркатур апсид. Итак, действительно, каргопольский собор построили новгородские мастера. Но важно, что они принадлежали к тому направлению новгородского зодчества, которое испытало на себе сильное влияние московской и среднерусской архитектуры».
В 1765 году в Каргополе случился очередной пожар, оставшийся в истории города как «великий». Огонь, по воспоминаниям очевидцев, был столь силён, что «брёвна метало за реку». Городская застройка, по большей части деревянная, выгорела полностью, сильно пострадали и каменные здания, в том числе Христорождественский собор, сгорели его купола, получили повреждения стены.
Пять лет он стоял, никем не ремонтируемый, — прихожане всё это время собирали деньги на ремонт. Работы начались в 1770 году и закончились лишь спустя двадцать восемь лет (хотя главный престол собора заново освятили уже в 1778 году). Именно в ходе этого длительного ремонта собор Рождества Христова приобрёл черты, донесённые им до наших дней.
В 1936 году собор был передан в Каргопольский историко-архитектурный и художественный музей-заповедник. Сегодня стены покрашены в белый цвет, виден лишь небольшой фрагмент средневековых фресок с западной стороны. От икон осталось лишь то, что было установлено после 1765 года. Необычным элементом внешней конструкции является железная балка в виде руки, торчащая из центрального каменного барабана. К её концу прикреплена цепь, державшая центральное паникадило (само паникадило исчезло при закрытии собора).
С веками здание собора ушло в землю почти на метр.
