Первоначально монастырь довольствовался небольшой колокольней, имевшейся при «старом» соборе. В 1836 году была начата постройка отдельно стоящей каменной колокольни, в 35 сажен вышины. По непрочности фундамента и кладки, 22 сентября 1840 года, во время обеда, колокольня внезапно обрушилась, не причинив, впрочем, никакого вреда ни людям, ни другим постройкам. Из кирпича, оставшегося от рухнувшей колокольни, в последующие годы были построены два двухэтажных жилых корпуса, гостиница, конный двор и столярня.
Строительство колокольни было вновь начато в мае 1847 года, при губернском архитекторе И. П. Лутохине, который осуществлял общий надзор за постройкой. Величественная пятиярусная колокольня, покрытая белым железом, была полностью возведена к 1849 году. Её высота составила 33 сажени. На колокольне установили 10 колоколов, самый большой из которых, весом в 646 пудов, подняли только в 1856 году. Другие колокола имели вес 317 пудов, 157 пудов, 52 пуда и так далее. Звон белобережских колоколов в хорошую погоду был слышен за 10—12 вёрст. С третьего яруса колокольни можно было любоваться видами окрестности; отсюда просматривались и город Брянск, и Свенский монастырь.
В начале XX века между третьим и четвёртым ярусами колокольни были установлены часы с боем. Размер чёрного с позолоченными цифрами циферблата был около полутора метров, что позволяло определять время с расстояния до двух километров. Механизм тонкими тросами связывался с колоколами на третьем ярусе, и часы мелодично отбивали время каждые 15 минут. Часы приводились в движение с помощью двух тросов с гирями по 40-50 кг, которые поднимали при помощи ворота. Одного завода часов хватало на две недели.
Около 1926 года по вине воспитанников детгородка вся внутренняя деревянная часть колокольни сгорела вместе с часами. В уцелевшем кирпичном корпусе колокольни лесничество оборудовало вышку для обнаружения лесных пожаров. В первые месяцы Великой Отечественной войны колокольня, служившая хорошим ориентиром для вражеской авиации среди лесного массива, была полностью снесена.
