Храм Казанской иконы Божией Матери — самый старый в Рыбинске. Изначально маленькая церквушка, построенная в 1697 году, а через сто лет украшенная прекрасными росписями, венчала Казанскую улицу; в наши дни она теряется среди неухоженных жилых домов и странного вида построек. А между тем эти постройки всё, что осталось от некогда располагавшегося здесь храмового комплекса. Ещё в начале ХVII века здесь, на берегу реки Черёмухи, находился мужской монастырь. Его описания сохранились в Писцовых книгах тех лет, «Монастырь Казанской Богородицы, огорожен забором, вдоль того монастыря от передних ворот к реке Черемхе 28 сажень, поперёк от сторонних ворот 24 сажени, а на монастыре церковь Пресвятые Богородицы Казанские деревянная клецки». Из этой записи можно сделать вывод, что обитель была достаточно бедной, всего одна церковь, да и та весьма скромная, с убранством незавидным, «По иконе убрусец шит шёлком, пелена камчатая белая, перед образом свеча поставлена деревянная. Царские двери со святители, сень и столбцы писаны по вохре. Деисусов в двух тяблах 21 икона, паникадило медное о 5 шандалах». Рядом ещё находилась деревянная «колокольница» с четырьмя небольшими колоколами.
После революции для Казанского прихода настали сложные времена. В 1922 году начался процесс изъятия церковных ценностей. С храмовой Казанской иконы Божией Матери сняли драгоценностей на сумму почти в один миллиард рублей. Из церкви изъяли несколько пудов серебра. В 1926 году представители новой власти снова пришли в храм, на сей раз забрали всё, что представляло музейную ценность. Церковное имущество, в том числе и то, что хранилось в ризнице, передали в Госфонд. Иконостас разрубили на части и сожгли. Прошло ещё пять лет, взялись за колокольню. Её, бедную, разобрали до основания. Сам храм обезглавили. В 1934 году службы прекратились, Казанскую церковь закрыли. Общине оставили лишь тёплую Введенскую церковь, но и её вскоре закрыли и приспособили под жильё. Несколько лет Казанский храм стоял в запустении, здесь планировали открыть антирелигиозный музей. Но передача храма краеведческому музею не спасла его интерьер. Несмотря на то, что местная музейная комиссия ещё в 1926 году приняла её на учёт, как памятник старины, имеющий «фресковую живопись ХVII века», пишет краевед А.В. Михайлов. К 1940-м годам в бывшей Казанской церкви разместили городской архив. Документы хранили там вплоть до 1980 года. Впрочем, это скорее спасло церковь, ведь для документов необходимо было поддерживать определённый температурно-влажностный режим. Соответственно, уцелели и стены, и фрески на них.
На Ярославской земле родилось много различных вариантов традиционного завершения храма. Это т.н. ярославская «классика» тяжёлые, мощные, близко посаженные главы или они же, широко расставленные, на другой стороне спектра изящные, словно воздушные, тесно собранные пятиглавия на узких барабанчиках. Пятиглавие Казанской церкви «золотая середина», в меру крупное, в меру широко расставленное. Апсиды украшены, пожалуй, богаче, чем что бы то ни было другое во внешнем облике храма. Обращают на себя внимание фактурные «гофрированные» карнизы, геометрический орнаментный пояс на уровне фундамента, колонки, разделяющие апсиды. На традиционные для этого храма «почти несуществующие» наличники, глаз падает в последнюю очередь. Наличники предельно лаконичны. Простой прямоугольник с выступающими сверху и снизу планками выделяется на глади стен почти исключительно благодаря игре светотени. Абсолютно неожиданно как нечто, пришедшее из другого времени, смотрится растительный орнамент ветвь по верху наличника. Она единственный элемент, который вносит оживление в сухой декор. Казанская церковь очень компактна. Обмеры её четверика таковы, длина — 13,4 метра, ширина — 8,5 метра, высота — 12,7 метра. Высота верхней части храма, от среза кровли до вершины креста, примерно равна высоте четверика до среза кровли.
