Первым зданием монастыря была «малая келейца», в которой жил основатель обители Киприан. Позднее на этом месте для настоятеля монастыря был построен деревянный дом, находящийся с северной стороны от церквей Владимирской и Преполовения. В 1764 году из-за ветхости дом был уничтожен архимандритом Иаковом.
По благословящей грамоте архиепископа великоустюжского Александра от 10 августа 1695 года рядом с настоятельским домом была построена небольшая однокупольная церковь во имя Всех Святых при построенном тогда же одноэтажном каменном корпусе, используемом под больничный. Церковь неоднократно страдала от пожаров. В 1720 году построена заново.
В 1734-1735 годах при архимандрите Пахомии здание реконструировали, надстроив второй этаж. В нижнем этаже у Всесвятской церкви разместилась больница, а на противоположной стороне одна келья и сени. На втором этаже разместились 6 келий и сени.
В 1763 году от настоятельского корпуса к северной паперти Архангельского собора была построена деревянная терасса. В 1892 году по распоряжению Великоустюжского викарного епископа Варсонофия, терасса переделана в теплый с железной крышей коридор. Существовал до 1918 года, снесен из-за ветхости.
В 1771 году архимандрите Мисаиле пристроены две кельи с западной стороны. После очередного городского пожара в мае 1772 года в настоятельский корпус со своей семьей заселился Великоустюжский градоначальник князь Иван Алексеевич Енгалычев. Он пристроил с южной стороны деревянный балкон с двумя лестницами.
В 1786 году церковь Всех Святых была увеличена, превращена в домовую и соединена с кельями. На западной стороне были сделаны хоры. Иконостас был написан на холсте.
В 1841 году кельи верхнего этажа были капитально отремонтированы при архимандрите Августине, вместо ветхого деревянного крыльца построен каменный балкон с четырьмя колоннами и фронтоном, внутри которого находились лестницы.
В 1888 – 1889 годах в настоятельском корпусе сделан ремонт, и он был приспособлен для проживания Великоустюжского архиерея. В нижнем этаже было добавлено две комнаты, заменены полы, сделаны новые изразцовые печи. Крыша и наружные стены были выкрашены. Тогда же Всесвятская церковь была переделана в помещение для проживания братии монастыря.
С 1941 года по 1945 год здание было занято службами Пуховического военного училища. С 1945 года используется как вспомогательное административное помещение автотехникума.
