В 1781 году на святых вратах построили деревянную церковь во имя пророка Илии. При игумене Амфилохии в 1856 году вместо обветшавшей деревянной церкви был воздвигнут кирпичный в неорусском стиле двухэтажный пятиглавый четырёхпрестольный надвратный Ильинский храм. Он был украшен угловыми пилястрами кубической постройки под небольшим куполом без трапезной и колокольни, завершался массивной центральной и небольшими угловыми луковичными главами на барабанах. Холодные престолы Ильинский и Владимирский находилисть на верхнем этаже, а тёплые Сретенский и Екатерининский — на нижнем. С 1830-1833 и 1918-1923 годы церковь действовала как приходская. Закрыта в 1923 году, разорена, занята клубом, затем кинотеатром. Взорвана в 1976 году. На месте храма выстроено многоэтажное здание гостиницы «Брянск», возле которой сейчас стоит памятный деревянный крест.
