Строительство кирпичной церкви в селе Мордово началось во второй половине XIX века, поскольку прежняя церковь не вмещала всех прихожан, на то время в Мордове было 1200 дворов. Церковь завершена постройкой и освящена в 1909 году. Огромное здание храма вмещает до 5000 молящихся и является одним из крупнейших в Тамбовской области. Роспись стен в интерьере храма выполнить не удалось из-за начавшейся вскоре I мировой войны средств на внутреннюю отделку не хватило. Украшением храма является керамический иконостас, доставленный в 1890 году из подмосковного Ново-Иерусалимского монастыря. Керамический иконостас такого размера уникален для России.
Храм был закрыт в 1939 году, приспособлен под зернохранилище. Однако верующие жители Мордова не допустили проникновения хозяйственных помещений в алтарь церкви, отгородив его от остального помещения. Храм также намеревались взорвать, но прибывший с проверкой офицер написал в заключении, что взрыв мог бы повредить соседние дома и школьное здание, бывшая церковно-приходская церковь, и тем спас церковь от разрушения. Во время Великой Отечественной войны в храме размещался госпиталь. В гигиенических целях стены были побелены известью, при этом повреждены некоторые иконы.
В 1945 году здание храма было возвращено верующим. Тогда Тамбовской епархией управлял архиепископ Лука Войно-Ясенецкий. Храм реставрировался к 1000-летию Крещения Руси. В настоящее время идет медленное, за нехваткой средств, восстановление здания. Так, в планах настоятеля о.Анатолия восстановить разноцветное остекление храмовых окон.
В 1993 году патриарх Московский и Всея Руси Алексий посетил Михаило-Архангельский храм и совершил в нем Божественную Литургию.
