Приход церкви во имя Св. Афанасия и Кирилла Александрийских существовал уже в 16 веке в Пушкарной слободе. При церкви было кладбище.
Новый деревянный храм был возведен в 1750 г. В 1800 г. на средства купца Андриана Илларионовича Богомолова на месте деревянного построен каменный храм с двумя приделами в трапезной: в честь Владимирской иконы Божией Матери и во имя Св. Мучеников Андриана и Натальи. В 1875 г. трапезная была расширена и соединена с 25-метровой колокольней, которая не сохранилась.
Кирпичная церковь с декором в стиле классицизма представляет собой трёхсветный одноглавый четверик с трапезной, в которой были Владимирский и Адриано-Наталиевский приделы, и колокольней. Трапезная расширена в 1875. Закрыта в 1930, колокольня сломана, занята под склад. Отреставрирована в 2007.
Церковь во имя Св. Афанасия и Кирилла Александрийских была закрыта в 1930 г., использовалась под склад пенькозавода. В 1989 г. Орловским хозрасчетным реставрационным участком была восстановлена венчавшая церковь главка. В настоящее время силами «Орелстрой» отреставрирован фасад храма.