В Рыльске была старообрядческая церковь, построенная в 1737 году, называлась она Покровской, затем Благословенной. Отличалась от других церквей своей многоглавостью, круглыми куполами и луковками. В 1910 году рядом с ней начали строительство новой Покровской кирпичной церкви. Проект на строительство каменной Покровской старообрядческой церкви был утвержден 4 марта 1909 года, проект колокольни — 28 апреля 1910 года. До 1917 года церковь была построена. В ней совершались службы, хотя она и не была полностью благоустроена. Священником был отец Трофим. О старообрядческой церкви протоиерей Вокадоров писал: «Во все время своего существования она сослужила службу для прославления г. Рыльска и его уделов, объединив в себе все толки местного раскола».
В советское время многоглавую красавицу разобрали. В настоящее время от старообрядческой церкви осталась только недостроенная колокольня.
