В истории села, насчитывающей несколько сотен лет, запечатлены многие события. За время своего существования село несколько раз меняло название, горело и восстанавливалось вновь. До 1565 года территорию современного села Середа занимало село Фёдоровское, принадлежащее известному роду ярославских князей Троекуровых. Село Федоровское располагалось на обоих берегах реки Касти, которая своим руслом делила вотчинные земли князя на две равные части: южную и северную. В 1565 году южные земли села Федоровского по царской грамоте были переданы Ярославскому Спасо-Преображенскому монастырю. Спасо-Преображенский Ярославский монастырь организовал в 1565 году на вновь приобретенных землях села Федоровского с деревнями монастырскую усадьбу с деревянной одноглавой церковью и оградою на месте будущего села Середа, основанного здесь через 200 лет. В 1609 году польско-литовским отрядом Лисовского монастырская усадьба села Федоровского и церковь Фёдора Стратилата на Касти были сожжены. Но в 1613 году вновь отстроены. Первое церковное богослужение после освобождения от польско-литовской интервенции во вновь отстоенном храме дала начало новому сельскому празднику «Крошиха», который празднуется и по настоящее время в среду в третий день после праздника Святой Троицы. После восстановления церкви и села оно стало называться «Федоровское Новое».
Посреди села, на Торговой площади, возвышается построенная в 1797 году вместо обветшавшей деревянной каменная церковь Смоленской иконы Божией Матери с приделами в честь Святителя и Чудотворца Николая Мирликийского и Св. Великомученика Феодора Стратилата.
Она состоит из традиционных элементов: четверика, полукруглой алтарной апсиды, двухстолпной трапезной и колокольни. Бесстолпный двусветный летний храм перекрыт сомкнутым сводом и завершен пятью главами, центральная из которых световая. Над нижними окнами — полукруглые и прямоугольные нишки. Выше, над межэтажным пояском, плоскость северной и южной стен расчерчена огромными филенками, внутри которых расположены оконные проемы. Окна верхнего света декорированы треугольными и лучковыми сандриками. На углах четверика — спаренные плоские лопатки; над тонким карнизом на всех фасадах — по три небольших кокошника. Завершение летнего храма отличается несколько усложненным характером: круглые барабаны чешуйчатых глав поставлены на высокие граненые постаменты.
Особенностью планировки храма является то, что колокольня ярусная выстроена над трапезой, вход на лестницу осуществляется через отдельный пристройку на северном фасаде, по винтовой лестнице.
В селе при церкви Смоленской Божьей Богоматери существовала также церковно-приходкая школа. К началу XX века в Середе было также церковно-приходское попечительство и общество трезвости, две библиотеки.
