Построен в 1818 году на средства купца Ивана Никитича Барыкова. Автором проекта был известный русский архитектор, профессор (а в последствии президент) Петербургской Академии художеств Авраам Иванович Мельников (он же проектировал Спасо-Преображенский собор в Рыбинске, Императорское училище правоведения в Санкт-Петербурге и знаменитую Потемкинскую лестницу в Одессе).
Храм имел три престола: главный (холодный) — Воздвижения Креста Господня, в теплой трапезной — во имя Св. жен-мироносиц (справа) и Св. великомученика Никиты (слева). Благодаря богатому внутреннему убранству и значительной вместимости, превосходившей старый городской собор, Крестовоздвиженская церковь вплоть до 40-х гг. XIX века, когда был окончен новый собор во имя святителя Николая Чудотворца, выполняла функции соборной.
23-25 января 1826 года в храме покоилось тело императора Александра I, которое везли из Таганрога в Санкт-Петербург. В память об этом событии членами царской фамилии храму было поднесено паникадило, а внутри церкви установлена памятная доска. Свои детские впечатления о царских похоронах описал А. А. Фет в произведении «Ранние годы моей жизни».
В 1897 г. храм в последний раз капитально отремонтировали. С 1899 г. при нем начала функционировать церковно-приходская школа, помещавшаяся в собственном деревянном доме.
Церковь закрыта в 1930 году. В годы войны авиабомбой были разрушены своды трапезной. В 1960 г. здание поставили на госохрану, что не помешало городским властям хлопотать о его сносе под предлогом ветхости. К счастью, храм удалось отстоять.
23 февраля 1973 г. обрушился шпиль колокольни. С 1976 года в храме время от времени велись вялотекущие реставрационные работы, остановившиеся совершенно к началу 90-х годов.
В 1999 г. храм передан православной общине. Первоначально восстановительные работы велись за счет средств прихода Свято-Троицкого храма г. Мценска. В том же году в храме возобновились регулярные богослужения (первая Божественная литургия была отслужена в праздник Введения во храм Пресвятой Богородицы).
В настоящее время храм продолжает реставрироваться одновременно с совершением в нем богослужений.
С 2006 года при храме начала действовать Воскресная школа. В настоящее время в ней обучается около 15 воспитанников от 5 до 13 лет. Занятия проходят по воскресеньям с 11 до 14 часов. Дети изучают основы православной культуры, занимаются рукоделием. В дни каникул для детей организуются паломничества, экскурсии, походы.
