Каменная церковь во имя всех святых была построена в 1817 году, а освящена в 1818 году. Средства для строительства были выделены за 2 года до своей смерти купцом Алексеем Федоровичем Очкиным, чье семейство имело несколько домов на улице Московской. Располагалась церковь в дубовой роще, где с 1765 года существовало кладбище, закрытое в 1903 году.
Рядом с церковью со временем образовался жилой поселок, получивший название Графовка, известный сейчас как «Манчжурия».
Поэт Михаил Иванисов:
Лес дубовый, в три куртины,
Иль три рощи – прямо в ряд, Вдоль по долу луговины,
Раделившися стоят.
Но всего что превосходней, —
То, среди одной из них,
При кладбище – храм Господний,
В честь и память Всех Святых;
Или храм уединенья
Службы Божией, — и тут –
От житейских бурь волненья
Бедным странникам приют…
Спротив, в виде Ватикана,
Близ изгиба светлых вод,
На песках, в краю поляны,
Стоит сахарный завод.
Это – город в миньятюре,
В минаретах и садах,
Или – вымысел в натуре,
В фантастических мечтах.
А налево и направо –
Вид двух мельниц водянных,
В них всех тридцать два постава –
Мукомольных крупчатых.
Но не виды этих зданий
Перед лоном светлых вод,
Взгляда полныя вниманий
От особенных красот…
Но в часы, когда смолкает
Все в полночной тишине,
То в тишт той оглушает –
По окрестной всей стране
Диким шумом вод в дубравах
С грохотанием постав,
С шумом дико-величавых
Гармонических октав.
Как-бы полныя свободы
Получивши, — хор духов, —
Усыплять красы природы
И покои сладких снов.
Церковь была закрыта в 1931 году и впоследствии сломана. Остатки ее фундамента еще и сейчас можно обнаружить близ реки Суры у железнодорожного моста в районе улицы Маяковского, бывшей Всехсвятской.