Каменный храм в честь Воздвижения Честного Креста Господня, с каменной колокольней и оградой, был построен в 1849 году на средства хвалынских прихожан и благотворителя, рыбинского купца Михаила Александровича Григорьевского, по проекту губернского архитектора Григория Васильевича Петрова. В росписи храма принимал участие знаменитый художник Кузьма Сергеевич Петров-Водкин, венчавшийся в Крестовоздвиженской церкви с женой Марой Йованович. В 1910 году храм украсился Распятием Господним его кисти.
Весной 1931 года с церкви были сняты и отправлены на переплавку колокола, решением горсовета церковь была закрыта и передана под клуб союзу пищевиков. В 1936 году в церкви устроили зернохранилище, которое с перерывом размещалось там до окончания Великой Отечественной войны. Перерыв — это именно то время, когда верующим удалось добиться возобновления богослужений в 1937 году. В 1946 году его разобрали на стройматериалы. В 1947 году епископ Саратовский и Вольский Борис Вик совершил Чин освящения восстанавливаемого храма в честь Воздвижения Честного и Животворящего Креста Господня, в память разобранной на кирпичи старой Крестовоздвиженской церкви в здании Покровского храма, построенного в 1906–1914 годах хвалынскими старообрядцами.
Согласно постановлению Саратовскорй областной Думы от 17 ноября 1994 года, храмовое здание признано вновь выявленным объектом историко-культурного наследия. В 2003 году при поддержке со стороны депутата Государственной Думы Российской Федерации Вячеслава Викторовича Володина храм получил финансирование из федерального бюджета по Федеральной адресной инвестиционной программе сохранения памятников культурного наследия. К храму приписана часовня на кладбище города Хвалынска.
