Теплой зимней церковью Прокопьевского собора служила церковь во имя Похвалы Пресвятой Богородицы. Появление первого деревянного здания относится к 1495 году. Каменный одноэтажный храм во имя Похвалы Пресвятой Богородицы с пределом во имя святого Алексия митрополита Московского был построен в 1672 году по грамоте Ростовского митрополита Ионы, иждивением купца Афанасия Гусельникова. Второй этаж был построен в 1690 году и освящен во имя Рождества Христова, и соединялся деревянными переходами с крестовой владыческих палат. После пожара 1715 года, в 1716 году отстроена вновь архиепископом Великоустюжским и Тотемским Иосифом и освящена во имя митрополита Алексия, Московского чудотворца. В конце XVII века Алексеевская церковь была включена в состав Архиерейского дома и превращена в домовую архиерейскую церковь. В 1820 году вновь приписана к Прокопьевскому собору. В 1821 году закончен иконостас верхнего этажа. В изготовлении икон участвовали Прокопий и Андрей Соколовы, Петр и Николай Протопоповы. В 1835 году изготовлен иконостас в нижнем этаже и освящен в честь собора Иоанна Предтечи. В 1868 году в связи с постройкой теплого Тихоновского придела Прокопьевского собора, служба на первом этаже Алексеевской церкви прекратилась, а сам этаж был отдан под подсобные помещения. С 1923 по 1927 год в здании церкви находился губернский архив. В 1941 году все помещения Архиерейского двора отданы под госпиталь, а с 1948 года здесь находится госпиталь ветеранов Великой Отечественной войны.
