В 1870 г. епархией был приобретен дом на Богоявленской ул. для зимней резиденции Калужских архиереев. Дом был выстроен Торубаевыми в середине XVIII в. В 1875 г. при архиерейском доме была построена школа певчих с храмом в честь Калужской иконы Божией Матери. Иконостас был выполнен калужским иконописцем Н. Л. Пановым. С 1918 г. на первом этаже архиерейского дома разместился Епархиальный совет, образованный вместо упраздненной духовной консистории.
В 1922 г. живший здесь епископ Феофан (Туляков) был переселен во флигель, где раньше находилась певческая школа. В здании архиерейского дома разместился детский дом № 4. На заседании президиума Калужского губисполкома было слушано отношение губернского управления народного образования с ходатайством о выселении архиерея и церковного совета из флигеля при детдоме № 4 ввиду того, что и церковь и упомянутый флигель имеют тесное соприкосновение с детдомом, имеют общий ход, что представляет целый ряд неудобств и имеет нежелательное влияние на детей детдома». В связи с этим было принято решение о делении из флигеля архиерея вместе с церковным советом и о закрытии домового храма. С 1925 по 1955 г. в архиерейском доме размещается глазная лечебница. После войны здесь также расположилось Калужское областное медицинское уилище. 1 сентября 1944 г. в здании школы певчих и храме было открыто Калужское музыкальное училище. Оба училища занимают эти здания по сей день. Храм в честь Калужской иконы Божией Матери при архиерейском доме также сейчас действует.
