Троицко-Александровская часовня была cооружена в 1882–1884 гг. над пещерой, где были, по преданию, захоронены старцы Сергиевского монастыря. Ее построили на средства Ливенского городского общества в память события 2 апреля 1879 г. и мученической кончины императора Александра II 1 марта 1881 г. (покушение Гриневицкого). Посетивший ее в 1885 г. очевидец писал: «Это довольно красивая, только вчерне оконченная часовня, под которой устроена пещера. Спустившись на несколько ступеней, мы вошли в эту пещеру, где пред установленными у стен иконами очерчивалась в полумраке фигура священника…. Кроме этой обстановки, имеющей вид более чем скромный пещерной часовни, нам ничего более не представилось, никаких гробов или даже признаков могил в ней не оказалось».
По ходатайству Ливенской городской Думы в эту часовню ежегодно 17 октября совершался крестный ход в память избавления императора Александра III с семейством от опасности 17 октября 1888 г. (железнодорожная катастрофа в Борках). Часовня была приписана к городскому Троицкому собору, причем городская управа ежегодно отпускала из своих средств «120 рублей на масло для неугасимой лампады и на наем сторожа». Троицко-Александровскую часовню снесли в 30-е годы XX в., но ее подвал, или «пещера», сохранился и позднее, уже после Великой Отечественной войны над ним построили дом церковного причта. Совсем недавно он был открыт и используется как подземная часовня.
Источник: Неделин В.М. «Архитектурные древности Орловщины. Книга 2 (ушедшее)». — Издательство: «Вешние воды», 2009 г., стр. 128
