Двухэтажная кирпичная постройка второй половины ХIХ века, бывший особняк купца Авраамова, расположен на крутом спуске с Покровской горы, рядом с Горне-Никольской церковью. Здание построено в 1870 году (?). Типичный для периода эклектики двухэтажный особняк сооружён в псевдоготическом стиле, что находит выражение в стрельчатых окнах второго этажа основного объёма и двух шестигранных башенках с шатровыми кровлями. Первый этаж — сводчатый, с двумя большими парадными комнатами, которые расположены вдоль уличного фасада. Внутри помещения неоднократно подвергались переделкам. Во время Великой Отечественной войны здание частично было разрушено, в 1948 году восстановлено. В 1960-х годах была изменена форма кровли здания, разобраны металлические ограждения, ворота и калитка. С 1994 года в здании размещалось Брянское епархиальное управление, с 2004-го архиерейский дом. Здесь располагались личные покои двух первых епископов восстановленной Брянской епархии. В 2008 году произведён капитальный ремонт здания. Домовая церковь во имя Преподобного Сергия Радонежского в архиерейском доме освящена 17 декабря 2010 года.
