Приход храма во имя Всех Святых ведет свою историю с марта 1998 года, когда приходское собрание приступило к сбору средств для строительства возле центрального кладбища города храмового комплекса, который будет состоять из храма, часовни и вспомогательных построек.
17 августа 1999 года было получено заключение по отводу земельного участка под строительство храмового комплекса. Постановлением главы города Брянска от 25 ноября 1999 года приходу храма во имя Святого Великомученика Победоносца Георгия была разрешена разработка проекта. 2 декабря главным архитектором города Брянска утверждено архитектурно-планировочное задание на разработку проекта храмового комплекса — храма, часовни, вспомогательных помещений, автостоянки.
Строительство началось в 1999 году, и уже в мае 2000 года начал действовать храм-часовня – в нем стал регулярно совершать Богослужения назначенный настоятелем иеромонах Серафим (Павлов). 22 января 2003 года настоятелем храма во имя Великомученика Георгия Победоносца был назначен протоиерей Петр Пономарев.
В 2009 году на участке храмового комплекса была произведена закладка храма во имя Всех Святых. Приход был перерегистрирован с названием в честь нового храма.
Храм будет освящен во имя Всех Святых в связи с тем, что рядом находится центральное городское кладбище. По древней русской традиции, храмы, расположенные возле погостов, освящались либо в честь Воскресения Христова, либо во имя Всех Святых.
