Холодный пятиглавый каменный храм был построен на месте более древней церкви в 1675 г., главный его престол во имя Воздвижения Честного и Животворящего Креста Господня освящен в 1688 г. В южной части алтаря помещался придел Казанской иконы Божией Матери, освященный 27 июля 1690 г. Храм был расписан фресковой живописью с 10 июня 1734 г. по 19 июня 1735 г. на средства его прихожан купцов Викулиных ярославскими художниками во главе со знаменщиком Алексеем Ивановым Сопляковым. В состав артели входили Иван Никитин Горин с братом Иваном, Андрей Емельянов Шустов с детьми Афанасием и Иваном, Алексей Сергеев, Матвей Сергеев, Иван Степанов Языков, Семен Семенов, Иван Афанасьев, Алексей Данилов, Иван Тихонов, Матвей Никитин, Петр Иванов. Росписи сохранились частично под побелкой.
В 1860-1865 г.г. производились масштабные ремонтно-восстановительные работы в Крестовоздвиженском храме были поновлены стенописи и иконы, позолочены иконостасы в главном алтаре и в Казанском приделе, устроена паперть с западной стороны. Ремонт производился на средства купцов Крохоняткиных и Константиновых.
В 1722 г. с южной стороны от летнего храма сооружена теплая одноглавая церковь с трапезной во имя Святых Бессребреников Космы и Дамиана. В южной части алтаря ее был устроен придел во имя преподобных Онуфрия Великого и Петра Афонского. В теплой церкви в 1842 г. был установлен новый алтарный иконостас по эскизу здешнего прихожанина мещанина Ивана Алексеева на средства, пожертвованные купцом Федором Кожуховым и мещанином Семеном Чарышниковым. В 1843 г. церковь и алтарь были украшены стенной живописью ярославским мещанином Федором Ивановым Телегиным на деньги купцов Крохоняткиных. В 1869 г. стенное письмо было поновлено и заново вызолочен иконостас.
Обе церкви были окружены каменной оградой длиной 164 сажени. К западу от холодного храма стояла трехъярусная шатровая колокольня, время постройки и сноса которой неизвестно. На ней имелись «часы железные, устроенные на немецкий манер» и были установлены 8 колоколов, от 284 пуд. до 2 пуд. 5 ф. весом.
Церковь закрыта в 1930 г. Оба здания были заняты строительной организацией, поэтому дошли до нас в искаженном виде. В начале 2010-х г.г. храмы возвращены Ярославской епархии. Для их восстановления в прежнем великолепии потребуется провести сложные и дорогостоящие реставрационные работы.
