К 1900-му году над восточной стеной поднялась высокая колокольня с башенными часами, построенная по проекту А. А. Латкова, который с конца ХIХ века был архитектором Троице-Сергиевой Лавры. Он, вероятно, спроектировал и остальные постройки Смоленской Зосимовой пустыни. Сравнительно с прочими зданиями обители монастырская стена и колокольня пострадали в ХХ веке наиболее ощутимо. От колокольни осталось два нижних яруса, полностью уничтожена восточная часть ограды, а также ограда хозяйственного двора. О том, как выглядело всё это в период расцвета Зосимовой пустыни, сказано в книге cвященномученика Серафим Чичагова, «Каменная ограда в 300 сажен длины окружает гористый берег речки Молохчи, прежде пустынный, голый, заброшенный. По углам ограды возвышенные башни, с уютными малыми келиями для монашествующих. К востоку у ограды высится трёхэтажная 16-ти саженная колокольня с колоколами на 713 пуд. 33 фун., из коих большой, в 510 пуд., висит во 2-м ярусе, остальные в верхнем. К колокольне примыкают две башни, в одной, помещения для келий, в другой лавка монастырская для продажи богомольцам икон, крестов, назидательных книжек и т.п. Под колокольнею ворота». Колокольня, некогда прекрасное сооружение сегодня представляет собой печальное зрелище.
Во время войны, под предлогом того, что колокольня демаскирует воинскую часть, располагающуюся на территории монастыря с 1925 года, были уничтожены два верхних яруса, разобрана на кирпич и стена. Долгое время в оставшейся части здания помещалась водонапорная башня, из бака которой вода постоянно переливалась наружу, стекая по стенам и подмывая фундамент. Зимой вода замерзала, превращая колокольню в огромную сосульку, разрушая год от года кирпичную кладку. Ещё и сегодня над вратами колокольни можно прочитать слова, «Пролетарии всех стран соединяйтесь под красное знамя труда». Печальный след минувшего безбожного времени. В настоящее время колокольня ещё не возвращена монастырю.
