Надкладезная часовня во имя Всех Святых была освящена 9 августа 1998 года Архиепископом Орловским и Ливенским Паисием при настоятеле протоиерее Владимире (Дороше В. В.) и ктиторе Калашникове Иосифе Николаевиче. Часовня расположена над скважиной, по которой со 140-метровой глубины поднимается вода и стекает по Кресту внутри самой часовни.
Деревянная церковь на этом месте была построена в 1641-1646 годах как церковь Богоявленского мужского монастыря, существовавшего здесь до 1680 года. После пожара 1680 года монастырь был перенесен на Взвозную гору, а для церкви построено каменное здание. В 1822 году на колокольне с курантами был установлен большой колокол весом 568 пудов (около 9 т), до 1830 года его звон служил началом благовеста всех церквей города Орла.
В 1837-1838 годах была существенно перестроена и расширена, трапезная соединена с колокольней, сооружена каменная ограда с главными воротами. В 1900 году колокольня из-за аварийности была разобрана, а в 1908 году была построена надвратная звонница, разрушенная в 1930 году. С 1901 года священником, а с 1903 года настоятелем храма служил духовный писатель, краевед и библиофил, законоучитель в различных учебных заведениях города — Илья Васильевич Ливанский (1854-1920). В 1921-1922 годах на колокольне (звоннице) жил орловский Христа ради юродивый Афанасий Андреевич Сайко (1887-1967).
Храм был закрыт в 1938 году, через год снесена звонница, разрушена ограда. В 1939-1941 годах в нем размещался антирелигиозный музей. Служба в церкви была возобновлена в декабре 1941 года. После освобождения города Орла от немецко-фашистских захватчиков церковь оставалась соборной, а в 1960 году — вновь закрыта. С 1962 года по 1993 год в ней располагался кукольный театр. В 1993 году передана общине верующих и после ремонтно-восстановительных работ освящена в 1996 году. В 1997-1998 годах рядом с церковью построена и освящена надкладезная часовня во имя Всех Святых.
