Первая церковь на кладбище села Коврово была деревянной с престолом в честь Покрова Пресвятой Богородицы. В XVII веке при Покровской церкви упоминается придел во имя святого Иоанна Рыльского, однако, к концу века церковь перестала существовать. Новый храм уже при городском кладбище Коврова возвели в 1780-х годах и освятили во имя святого великомученика Иоанна-Воина. Это была также деревянная церквушка. Самостоятельного причта она не имела и была приписана к городскому Христорождественскому храму. Церковь быстро изветшала и к началу XIX века появилась надобность в возведении нового храма. В октябре 1810 года титулярный советник Пётр Борисович Ошанин и ковровский мещанин Иван Фёдорович Апарин подали прошение во Владимирскую духовную консисторию о разрешении строительства каменной кладбищенской церкви в Коврове. При этом П.Б. Ошанин жертвовал на строительство 1000 рублей, И.Ф. Апарин 500. По существовавшему тогда порядку епархиальное начальство приказало благочинному священнику Александру Михайловичу Широкогорову осмотреть старый деревянный храм и подтвердить необходимость строительства нового. В своём ответе в консисторию А.М. Широкогоров отметил, что церковь действительно ветха, более походит на старый дом «и тем делает безобразие как тому месту, которое она занимает, так и целому городу». Идя навстречу ковровчанам, члены консистории просили благоволения епископа Владимирского и Суздальского Ксенофонта на строительство храма. Резолюция Его Преосвященства от 23 февраля 1811 года гласила, «Вместо ветхой деревянной церкви построить каменную на кладбище с приделом дозволяем, на что, заготовя грамоту, представить к подписанию и план ко утверждению. Деревянную же за ветхостию не перенося оставить до окончания строения новой в настоящем положении». Храмозданная грамота была подписана архипастырем 1 марта.
Спроектировал новый каменный храм владимирский губернский архитектор титулярный советник Александр Никитич Вершинский. В 1812 году в должности губернского архитектора его сменил Евграф Яковлевич Петров. Изначальный проект был переделан Петровым уже после того, как весной 1811 года началось строительство каменной церкви.
В 1994 году храм возвратили Церкви. После многих перипетий она приведена в должный вид и снова открыта для прихожан. Во время восстановительных работ был найден массивный памятник с могилы богатейшего человека Коврова, фабриканта-миллионера Ивана Андреевича Треумова, личность колоритная и неоднозначная. Сейчас это надгробие стоит на почётном месте у северо-востока алтаря бывшего кладбищенского храма. В 1946 году в парке Пушкина был похоронен известнейший конструктор-оружейник Василий Алексеевич Дегтярёв. Это, пожалуй, единственная нынешняя достопримечательность бывшего кладбища. Парк Пушкина так и не стал излюбленным местом отдыха горожан. Ковровчане, скорее пробегая в спешке мимо стен Иоанно-Воиновской церкви, нежели медленно прогуливаясь, зачастую даже и не догадываются, что путь их пролегает, без преувеличения, по костям своих далёких предков.
В 2006 году на месте входной часовни над могилами князей Ковровых был поставлен православный крест, символический памятник многим поколениям ковровчан, нашедших упокоение на кладбище при церкви во имя святого великомученика Иоанна-Воина.