Первая церковь в Ливенке (бывш. с. Верхний Кисляй) была построена в 1810 году, а первая церковно-приходская школа (с тремя классами обучения) здесь была открыта в 1893 году, то есть через 84 года после возникновения села.
Храм в честь Покрова Пресвятой Богородицы, каменный, с колокольней, был построен в селе Верхний Кисляй в 1810 году. В 1884 году в приходе числилось 1600 человек. В советские годы церковь подверглась разрушению. В 1941 году сняли колокол, разбили колокольню и превратили в винный завод. На 2009 год в этом здании размещалось зернохранилище.
