До середины XVII века монастырь был окружён деревянной оградой, каменными были только Святые ворота с надвратной церковью и часть примыкающей к ним северо-западной стены. В 1640—1650-е годы были возведены новые кирпичные стены, согласно царской грамоте 1644 года, монахам было дано право делать кирпич безоброчно. Строительство было завершено в 1656 году, о чём свидетельствует надпись, вырезанная в камне над Святыми воротами.
Всего имеется 5 башен:
Белозерская, северный угол;
Вологодская, восточный угол;
Южная, южный угол;
Мельничная, западный угол;
Водяная, в середине юго-западной стены.
В плане они образуют неправильный многоугольник, напоминающий трапецию, общей протяжённостью 950 метров с башнями по углам и в середине юго-западной стены. В северо-западной стене имеется въезд в монастырь через Святые ворота с надвратной церковью Вознесения, в месте которых стена образует тупой угол, направленный кнаружи. Толщина стен превышает 2 метра, высота на юго-восточной и северо-восточной сторонах, обращенных к дороге, доходит до семи метров. Юго-западная стена, обращённая к реке Вологде, самая низкая.
Высокие и мощные башни на северном, Белозерская, восточном, Вологодская и южном, Южная, углах ограды сильно выступают за линию стен, имеют 16 граней. Вероятно, что они задумывались как главные оборонительные сооружения. Башни имеют несколько ярусов бойниц и приспособлены к круговой обороне. В стенах между башнями также устроены бойницы, арочные нижние, для подошвенного боя, длинные тонкие, в среднем ярусе, и косые и узкие, в верхнем ярусе, для верхнего боя. Вдоль всех стен с внутренней стороны на каменных арках или на утолщении стен устроена площадка, служащая ходом по периметру ограды и позволявшая вести верхний бой. В юго-восточной и северо-восточной частях ограды были устроены так называемые «мешки», каменные столбы с узкими помещениями внутри, которые служили для хранения пороха и других боеприпасов, и куда также заключали особо важных преступников. Со стороны реки Вологды перед юго-западной стеной устроен земляной вал.
Завершение стен по древней традиции сплошное, не расчленённое на отдельные зубцы. Башни изначально венчали деревянные шатры со смотровыми вышками, которые в XVIII веке были заменены фигурными кровлями. В ходе реставрации 1955—1960-х годов Белозерская и Вологодская башня были покрыты тёсом, остальные имеют металлическую кровлю, грани Белозерской, Вологодской и Южной башен в XIX веке были выкрашены в белый, жёлтый и оранжевый цвета. Остальные башни и стены по традиции побелены. Кроме Святых и Водяных ворот, в обитель ведут Малые ворота в северо-восточной стене.
Стены и башни монастыря имеют различную архитектурную обработку. Монументальные Южная и восточная Вологодская башни выделяются не только своими большими размерами, около 20 м, но и декоративной обработкой зубцов и машикулей, у Вологодской они украшены полихромными изразцами. Мельничная башня имеет 8 граней и отличается подчёркнутой декоративностью, грани выделены сложными полуколонками, на которые опирается аркатурный пояс, с полукружьями последнего выше перекликаются трёхчастные ниши и бровки над верхними бойницами. Нижние бойницы украшены обрамлениями в виде двухуступчатых кругов. Водяная башня небольшая четырёхгранная, ранее проездная. Завершена деревянным шатром с металлическим покрытием и имеет небольшой караульный чердак.
