На улице Горького рядом со старым кладбищем расположен храм Всех Святых. Строился он в начале XX века, о чем свидетельствуют даты, сохранившиеся внутри построек. Деньги на возведение выделил Михаил Федорович Сапожников, почетный потомственный гражданин города, купец второй гильдии. Торговое дело у него шло безупречно и отличалось высокой культурой обслуживания и порядком. Для своего города Сапожников пожертвовал немалые суммы. На эти деньги были открыты богадельни, строились гимназии, городская больница. Благородное дело отца продолжил его сын Константин Михайлович, достроивший храм Всех Святых. И сегодня в Гороховце живут потомки того самого Михаила Федоровича, посещающие церковь своего предка.
Первоначально на этом месте находилась рубленная из дерева старая церковь. Новый каменный храм состоял из основного объема, трапезной и колокольни. Церковь венчает сферический купол с небольшой главкой. Храм сложен из красного кирпича и являет собой прекрасный образец здания в русско-византийском стиле. Для него была характерна объемность основного здания и система ступенчатого понижения пристроенных частей. Фасады церкви обладают богатым декором. Они украшены различными арками, фризами, карнизами, нишами.
Храм Всех Святых хранит память о тех священнослужителях, которые когда-то здесь служили: иерей Петр Горбунов, протоиерей Николай Алякрянский и другие. Недалеко от храма Всех Святых у подножия Пужаловой горы имеется и приписанная к нему часовня на Троицком источнике. По преданию, он забил из земли после появления на горе огромной фигуры русского богатыря, так напугавшей войско казанского хана.
В советское время храм был закрыт. И только в 1994 году после капитального ремонта здесь снова стали проводиться службы. Сегодня церковь Всех Святых является действующим храмом, богослужения в котором проходят в основном в праздничные и выходные дни.
