По преданию, первый деревянный храм на этом месте был построен самим князем Ярославом I Владимировичем Мудрым, основавшим город на правом берегу Волги в начале XI века. До постройки Успенского храма на Стрелке в 1215 году Ильинская церковь, вероятно, была соборной. Еще в период существования Ярославского удельного княжества, до середины XV века, вместе с Воскресенской и Петропавловской церквями Ильинская церковь пользовалась существенными привилегиями, подтвержденными затем великими князьями и царями от Ивана III до Михаила Федоровича, что свидетельствует о ее древности и об ее особой роли в жизни города. На протяжении веков деревянная Ильинская церковь неоднократно подвергалась бедствию от пожаров, наконец, сгорела от молнии в 1669 году. Тогда же на месте сгоревшей была построена деревянная церковь, а в 1682 году каменная, к которой в 1694 году был пристроен придел во имя святого Тихона Чудотворца, от чего она и получила название Тихоновской. С утверждением в 1779 году регулярного плана Ярославля, получавшего в своей центральной части совершенно новое расположение улиц и площадей, большая часть обывательских домов в Рубленом и Земляном городе была снесена, их жители были выселены за вал в посады, вошедшие в состав города. В результате церковь лишилась большинства своих прихожан, и со временем здание ее пришло в ветхость. Осенью 1824 года, обветшавший и угрожавший падением храм был разобран, а в июне 1825 года архиепископом Ярославским и Ростовским Авраамом был заложен новый двухэтажный каменный храм. Строительство велось по проекту архитектора П.Я. Панькова на средства, которые пожертвовал статский советник Михаил Алексеевич Ленивцев, ревнуя любовию к памятникам отечественной древности и достодолжно уважая святой храм сей, первоначально воздвигнутый рукою первого законодателя в России. При его жизни церковь была подведена под кровлю и полностью закончена лишь в 1831 году на средства петербургского купца I гильдии А.И. Атрыганьева. Храм выстроен в неоклассических формах, с мощной колоннадой по фасадам и высокой лестницей со стороны западного входа. Фронтон над входом в храм венчали две башенки, одна из которых служила колокольней, а другая ризницей. В верхнем этаже находилась холодная церковь во имя Пророка Илии, освященная архиепископом Авраамом 15 сентября 1832 г, в нижнем теплая церковь во имя иконы Богоматери Ярославской. Она была освящена тем же архиереем 3 декабря 1833 года. С северной стороны был устроен придел во имя святого Тихона, епископа Амафундского, освященный архиепископом Ярославским и Ростовским Евгением 16 октября 1837 года. С южной стороны находился придел Архистратига Михаила, по некоторым источникам, Бориса и Глеба. Некоторые богослужебные предметы, образа и иконостас в нижней церкви были перенесены сюда из упраздненной в 1828 году церкви Бориса и Глеба на берегу Волги. Точная дата закрытия храма не установлена. В 1930 году Горсовет передал здание Бирже Труда, а в 1931 году церковь снята с учета памятников архитектуры как не представляющая исторической ценности. Интерьер храма перестроен. В 1940-е годы здесь располагалось общежитие мединститута. В 1950-е годы в здании случился сильный пожар, уничтоживший внутренние помещения и крышу. После восстановления храма в нём располагались реставрационные мастерские. В настоящее время здесь находятся запасники Ярославского художественного музея. В 2010 году на куполе храма восстановлена глава с крестом.
