Ныне существующая Знаменская церковь была построена в 1890-х годах. Но это далеко не первое здание храма. Еще в 1736 году к Афанасьевскому монастырю по просьбе игумена обители Ионы и по указу от 16 июля архиепископа Иоакима была приписана часовня, пристроенная к Власьевской, или Знаменской башне, которая служила крепостными воротами для въезда в Земляной город. На восточном фасаде Власьевской башни при ее сооружении был написан образ Богоматери Знамение, на западном образ Спаса, скопированный, как гласила народная молва, с изображения на Спасской башне Московского Кремля. Поясной образ Богоматери Знамение, помещенный над крепостными воротами, олицетворял небесное покровительство и заступничество городу. В древности, по преданию, к образу Богоматери Знамение сначала вела деревянная лестница с площадкой, а затем к восточному фасаду башни пристроили небольшую деревянную часовню «на столбах», где «всегда неугасимая свеща стоит». Часовня принадлежала находившейся поблизости Власьевской церкви. Причиной передачи ее в 1736 году Афанасьевскому монастырю послужила ограниченность средств у обители, вследствие чего архиепископ Иоаким распорядился, «У образа Знамения Божьей Матери, что на башне Власьевских врат, отправлять молебны Ярославского Афанасьевского монастыря иеромонахам и все подаяния, к этому образу бываемые, употреблять в пользу того монастыря».
В 1779 году деревянная часовня была заменена на каменную, но в 1785 году генерал-губернатор А.П.Мельгунов распорядился разобрать Знаменскую башню на кирпич, поскольку не хватало материалов для строившегося в городе Дома призрения ближнего, и «только городской голова Андрей Александрович Барсов с купечеством догадались взамен ее, башни, выдать Мельгунову кирпича 15 тысяч». Происходившие далее события так изложены в статье местного автора, Ивана Бабанина, «На столь выгодное предложение губернатор согласился и первоначальное распоряжение пока отменил. Но не прошло и года, как он опять возбудил вопрос о сносе Власьевской башни. Однако произошло обстоятельство, которое и в данном случае спасло от разрушения древнюю башню, мало того, свершило такой переворот в ее вековом бытии, что потом была она заново отремонтирована, приняв вполне благообразный вид. Накануне дня, назначенного для разборки башни, жена губернатора вдруг почувствовала себя очень нездоровой. В ночь ей сделалось еще хуже. А когда на короткое время заснула, то во сне увидела, будто стоит перед тем самым образом, что нарисован на башне. Отверзлись уста Богоматери и послышался пророческий голос, Выздоровеешь тогда, когда оставят нерушимым сей лик мой начертанный».
Каменная часовня старанием настоятеля Афанасьевского монастыря Иннокентия в 1850 году была «распространена и внутри украшена довольно хорошей живописью. В 1861 году вместо часовни на средства А.И.Оловянишникова был устроен каменный храм, освященный во имя иконы Знамения Богоматери. В 1890-х годах «трудами настоятеля монастыря преосвященного Иоанникия, епископа Угличского, частью на собранные им между гражданами города Ярославля, частью на монастырские деньги, храм сей перестроен заново, пристройкой новой каменной кладки на восток на три сажени расширен, а в вышину поднят на 111 арщин. На храме возведена одна глава с позлащенными куполом и крестом». Все работы в храме осуществлялись по проекту архитектора А. А. Никифорова. 18 мая 1897 года состоялось торжественное освящение обновленной Знаменской церкви. Образ Спаса на западном фасаде Знаменской башни тоже был отмечен «благоговейным вниманием», каждый год 1 августа перед ним совершался молебен с водоосвящением.
Незадолго до Октябрьской революции в Знаменской церкви был устроен еще один престол, во имя Анны Кашинской, немногочисленные сведения об этом престоле имеются в описях храма 1920-х годах. Произошло это, скорее всего, по инициативе бывшего епархиального миссионера архимандрита Корнилия.
В архиве Ярославской области сохранились документы 1930-х годах о судьбе чудотворного образа Богоматери Знамение. Когда местные власти вознамерились снести пристроенную к Знаменской башне церковь, 12 января 1930 года председатель Епархиального управления епископ Софоний, беспокоясь о святыне, обратился в местный отдел Главнауки с просьбой уведомить, «находится ли на учете в Главнауке Знаменская икона Божьей Матери, как археологическая древность, которой более чем 700 лет, как она написана на стене в Знаменской часовне в Ярославле. Если эта икона до сего времени находится не на учете в Главнауке, то следовало бы таковую взять на учет, как древнюю археологическую старину». На заявлении епископа есть резолюция, «Осмотреть фреску и, если имеет интерес и смысл, поручить П.Н.Догадушкину снять ее для продажи или местного музея». Ответ заведующего ярославским отделением Центральных реставрационных мастерских Демьянова от 18 января 1930 года «Считая фреску второстепенной по значению и учитывая шаг поповщины, мастерские просят горсовет ходатайствовать пред Окрисполкомом о разборке Знаменской часовни для освобождения уличной площади и прохода под башней. Резолюция, вопрос решен на президиуме, и Знаменская часовня передана Кустшвею». Чудотворный образ Богоматери Знамение был сбит со стены вскоре после принятия этого решения. Знаменская церковь была закрыта 8 марта 1932 года, ее приход был объединен с общиной церкви Пятницы на Туговой Горе, туда же поступила часть церковного имущества.
В 1990-х годах на храме восстановлена глава. Еще до этого в здании разместилась народная киностудия Юность.
В новых условиях начался процесс возвращения Русской православной церкви и другим конфессиям отнятого у них советской властью имущества и культовых зданий. В июне 2001 года архиепископ Ярославский и Ростовский Михей обратился к губернатору области А.И. Лисицыну с письмом, в котором изложил идею создания в Ярославле Православного культурного центра и просил ходатайствовать перед Министерством культуры о передаче Русской Православной церкви в лице Ярославского епархиального управления Знаменского храма. Но вопрос завис, поскольку город не смог тогда предоставить другое помещение для киностудии «Юность» и Детской академии кино. Только ещё через тринадцать лет Знаменская церковь наконец-то была возвращена Ярославской епархии. 6 января 2015 года в Рождественский сочельник, здесь прошла первая после 80-летнего перерыва служба.
