Главным архитектурным объектом Чемизовки является старая церковная колокольня. Храм в селе был построен тщанием помещицы Вигилии Чемесовой в 1747 году. По другим данным в 1751-м году, также сохранились сведения, что храм возвели в 1745 году и освятили в 1748-м году. Церковь была деревянной, холодной и имела один престол во имя святителя Николая Чудотворца. В 1829 году её перенесли на другое место, а в 1846 году тщанием прихожан к зданию пристроили каменную колокольню. К приходу чемизовского храма были приписаны окрестные деревни Ломовка, Петровка, Николаевка, Ивановка, Хорошевка и Дарьевка, в штат причта входили священник и псаломщик, проживавшие в церковных домах. При Советской власти решением от 20 августа 1934 года церковь закрыли и переоборудовали под зернохранилище. Простояла она в заброшенном состоянии до конца XX века, после чего была уничтожена пожаром, случившимся из-за неосторожности местных жителей, сжигавших сухую траву. В настоящее время от старинной церкви остался лишь фундамент. В то же время прекрасно сохранились колокольня и памятник над склепом барановской помещицы Елены Александровны Михайловой-Расловлевой фон Липхарт, который, как и прежде, стоит за церковным престолом.
