Калужский Крестовский монастырь относится к числу несохранившихся памятников архитектуры. Из построек монастыря до настоящего времени сохранились только два дома на улице Поле Свободы: желтое двухэтажное здание – бывший братский корпус и бывшая просфорня.
На месте Крестовского монастыря в древности стояла сперва деревянная, потом каменная часовня, именуемая «часовнею на Боровской дороге». После большого Калужского пожара (1622 г.), истребившего город, в числе спасенных святынь был большой чтимый крест. При распределении святынь по церквам после пожара горожане решили поставить крест за городом на большой Московской дороге в часовне для ограждения этого лесистого места от частых тогда разбоев. Построенная часовня стояла почти 200 лет.
Поводом к построению на месте часовни Крестовской церкви послужило одно знаменательное событие. Отставной полковник П.С. Чебышев, приехав в 1827 г. в Калугу для лечения своего тяжкого недуга, увидел. во сне, что он совершенно выздоровел после поклонения Животворящему Кресту в какой-то неизвестной ему часовне. Выехав днем на прогулку, он случайно заехал к Крестовской часовне и узнал в ней именно ту, какую видел во сне. В часовне он получил от Креста исцеление и в благодарность решил построить на месте часовни храм во имя Воздвижения.
Но через 2 года в 1829 году он умирает. И только благодаря стараниям его супруги Н.П.Чебышевой и Преосвященного Епископа Гавриила, который по благословению Святейшего Синода, деятельно ей в этом помогал, храм был возведен в течение одного года и освящен в 1830 году. Это благое дело было продолжено Преосвященным Епископом Николаем, который построил вокруг церкви каменную ограду и деревянный на каменном фундаменте флигель для призреваемой братии. А к 1854 г. усилиями Преосвященного Епископа Григория был возведен каменный двухэтажный дом с 14-ю кельями и трапезной.
В 90-е годы XIX века церковь была обращена в монастырь, который находился под управлением архиерейского дома.
Крестовоздвиженская церковь, как по внешнему виду, так по внутреннему расположению имела форму равностороннего Креста. Западную ветвь составлял притвор, восточную — алтарь, в правой ветви помещался Чудотворный Крест, а в левой — придел в честь иконы Божией Матери называемой Троеручицей.
Главная святыня — Честный Животворящий Крест — помещался в южной стороне храма, под особым балдахином. Крест был восьмиконечный, с резным изображением Христа в человеческий рост, из цельного куска дерева. По левую сторону Креста в том же отделении Образ Божией Матери, именуемый «Блаженное чрево». К этой иконе привешен серебряный местами позлащенный небольшой Крест с частицами св. мощей.
За храмом в саду с восточной стороны стоял деревянный одноэтажный корпус на каменном фундаменте, построенный еще Преосвященным Епископом Николаем для БогадельниЗа храмом в саду с восточной стороны стоял деревянный одноэтажный корпус на каменном фундаменте, построенный еще Преосвященным Епископом Николаем для Богадельни.
У стен храма, кроме западной стороны, погребались покойные из дворян и купцов. Это было привилегированное кладбище г. Калуги. По данным Метрических книг Крестовского монастыря, сохранившихся за период с 1912 по 1917 годы, а также всех церквей г. Калуги был составлен мартиролог захоронений Крестовского некрополя, насчитывающего около 200 фамилий. Среди них — 14 почетных и потомственных горожан г. Калуги, 12 дворян и потомственных дворян, княжны, 4 генерал-майора, брат обер–прокурора Святейшего Синода, а также статские и титулярные советники, известные уважаемые врачи, представители купеческого, военного и мещанских сословий, священнослужители, члены почтеннейших семей г. Калуги.
С приходом к власти большевиков началось планомерное уничтожение Крестовоздвиженского монастыря. Согласно постановления Калужского губисполкома от 02.07.1924г. Крестовская церковь была закрыта, а в 30-годы церковь, колокольня и ограда Крестовского монастыря были разобраны. Крестовское поле было переименовано в Поле Свободы. В 1932 г. в сохранившемся братском двухэтажном корпусе был открыт детский сад. Потом здесь работала детская телестудия. В здании просфорни сначала был жилой дом, потом его заняло домоуправление. На месте значительной части некрополя, где покоятся останки многих известных калужан, теперь стоят жилые дома и спортплощадка 17-й школы.
По-прежнему остается неизвестна судьба главной святыни его — Честного Животворящего Креста. Судя по всему, он, как и другие святыни Крестовской церкви был сожжен после Постановления от 28 марта 1929 года, принятого на заседании бюро фракции РКП (б), в котором Горкомхозу предлагалось сломать Крестовский монастырь в виду, что «бывший Крестовский монастырь ничего ценного из себя не представляет и на его ремонт свободных средств в бюджете нет».
С сентября 2006 г. по благословению Владыки Климента началась работа по восстановлению монастыря, была организована встреча с администрацией города и области. Огромную роль в то время сыграла патриотически настроенная молодежь и верующие люди г.Калуги, которые поднялись на защиту останков монастыря, когда застройщики пытались снести здание просфорни, чтобы расширить свою территорию.
В августе 2007 г. было образовано Архиерейское подворье — Крестовоздвиженский мужской монастырь в г. Калуге, настоятелем назначен иеромонах Тихон (Шепеленко).
В настоящее время здание бывшего братского корпуса (ул.Поле Свободы, д.65) с прилегающим земельным участком и территорией некрополя, а также здание просфорни (Поле Свободы, д.65 а) переданы в собственность Калужской Епархии.