В 1792 году в Крестовоздвиженском приходе Арзамаса была выстроена теплая церковь в честь Казанской иконы Божией Матери, поскольку здесь находился чудотворный образ, обретенный горожанами в 1643 году. По свидетельству историка-краеведа Н. М. Щеголькова, «1643 год ознаменовался перенесением в Арзамас и прославлением чудотворной иконы Казанского образа Божией Матери, который находится в Крестовоздвиженской церкви. Летом этого года стояла продолжительная засуха, по этому поводу назначен был крестный ход вокруг города. Утром в этот день прихожане Крестовоздвиженской церкви во время совершения Божественной литургии увидели проходившего мимо их церкви некоего инока Даниила, несшего большую икону Казанской Божьей Матери. Они вышли из храма и спросили его, куда несет он святую икону. Даниил отвечал, «В монастырь Живоначальныя Троицы», монастырь этот был там, где ныне церковь Святого Духа. Но крестовоздвиженские прихожане стали просить его, чтобы он отдал икону в их церковь, на что Даниил и согласился. Весть об этом разнеслась по городу, и тогдашний игумен Спасского монастыря, схимонах Феодосий, совершавший литургию в соборе, повелел крестному ходу идти сначала к Крестовоздвиженской церкви, где пред новопринесенною иконою совершено было молебное пение, после которого икона была взята в крестный ход. Когда дошли до погоста церкви Илии Пророка, Господь прославил святую икону благодатным знамением, от нее увидели свет и истекло миро, потом Бог даровал и дождь.»
К 1860 году при церкви существовало приходское училище, в 1862 году открыта публичная духовная библиотека, а в 1889 году первая в Арзамасе церковно-приходская школа.
Весной 1929 года Крестовоздвиженская церковь по решению городского совета была разломана на кирпичи. В Казанской церкви с июня того же года стал располагаться дом Санпросвета. В ноябре 1945 года туда был переведен Дом пионеров, позже разместилась служба бытового обслуживания населения.
4 ноября 2003 года Казанский храм вернули Нижегородской епархии. Первое богослужение совершилось накануне праздника Рождества Христова, 6 января 2004 года. 16 января 2011 года храм был освящен архиерейским чином.
