Первую каменную церковь обители во имя Афанасия и Кирилла возвели по благословению ростовского митрополита Ионы Сысоевича в 1664 году. По окончании строительства храм был украшен росписями, над которыми работали мастера, вызванные из Москвы. В пожаре 1670 года обитель вновь пострадала. В 1676 году к северному фасаду соборной церкви пристроили теплый храм с колокольней, посвятили его Алексию, митрополиту Московскому. Территория монастыря была небольшой и обнесена невысокой каменной стеной только с восточной и северо-восточной стороны, с других сторон ограду монастыря заменяли надворные строения обывательских домов и церковь Спасо-Пробоинская. По парадному восточному фасаду обители, выходившему на Пробойную улицу, еще в XVIII веке соорудили две небольшие каменные башни, одна из которых служила Святыми воротами, в другой была устроена часовня в память о важном событии, обретении чудотворной иконы Спаса Нерукотворного. 25 июня 1768 года в центральной части Ярославля снова случился пожар, после которого был составлен перечень причиненного ущерба. От огня пострадали оба храма игуменские и братские кельи, кухня, конюшня, каретник, баня, погреба, ограда. Всего во оном Афанасьевском монастыре погорело и разломано на 1000 руб., сообщается в данном перечне. Во время восстановительных работ после пожара 1768 года была поновлена живопись церкви св. святителей Афанасия и Кирилла, ее первоначальный каменный иконостас заменен деревянным. В 1820-1830-х годах в монастыре велись значительные работы по его благоустройству, в связи с северной стеной, были сооружены каменные двухэтажные настоятельские покои с прилегающей к ним трапезной палатой, в связи с восточной оградой, две братские кельи, около 1825 года для церкви Афанасия и Кирилла выполнили новый иконостас, в 1831 году, теплый храм был распространен и по местам украшен живописью, росписи в нем исполнил живописец Тимофей Медведев. Тогда же монастырю передали 115-пудовый колокол из упраздненного Борисоглебского прихода, всего ансамбль колокольни состоял из семи колоколов. В послереволюционные годы при Афанасьевском монастыре была зарегистрирована приходская община, последний раз она упоминается в 1923 году, в феврале 1925 года монастырь закрыли, часть, ветхого культового имущества, передали в церковь Спаса на Городу и ряд других храмов. В 1930-х годах городские власти разобрали монастырскую колокольню, в храмах и кельях братии были устроены различные предприятия, в частности, там находилась администрация мебельной фабрики, в братских корпусах поселились люди. В 2006 году по благословению Высокопреосвященнейшего Кирилла, архиепископа Ярославского и Ростовского, храм святителей Кирилла и Афанасия стал семинарской церковью. К семинарии был приписан и Спасо-Пробоинский храм.
