Храм Вознесения Господня был построен в 1866 году. В клировых ведомостях Вознесенского храма за 1915 год значится, что он построен в 1866 году «тщанием купцов: Ивана Стефановича Деменкова, Никифора Гавриловича Каменкова на проценты со вклада коммерции советника Григория Ивановича Шелехова и на пожертвования других благотворителей».
Церковь отличается своим внешним видом и архитектурой от других церквей, построеных в Рыльске. Его основание и сам храм устроен в виде корпуса, по образу ковчега. Видимо, не случайно зодчие остановились на выборе этого плана в память великому мореплавателю. Семиглавый храм красив и величествен со всех сторон. Внутри храма иконостас был выполнен из кирпича и облицован деревянными резными наличниками, поясками, карнизами, полуколоннами. Царские врата с головами ангелов были покрыты позолотой. Церковь была оштукатурена и окрашена известью в белый цвет. Купола покрыты луженой сталью и выкрашены в голубой цвет. Золоченые луковки и кресты, устремленные к поднебесью, придают красоту и величие храму.
В тридцатых годах XX в. Вознесенскую церковь стали использовать под склад горкомхоза. С 1942 по март 1943 года в храме проходили богослужения (с разрешения немецкого командования). После освобождения Рыльска от немецко-фашистких захватчиков церковь снова закрыли: разобрали деревянные полы, сорвали наличники и царские врата алтаря. Храм снова стали использовать под склад стройматериалов. В 1985 году городские власти решили храм отреставрировать и использовать в качестве картинной галереи. При реконструкции планировалось разобрать кирпичный алтарь, переделать притвор, устроив в нем раздевалку, а колокольню использовать как складское помещение.
В октябре 1990 года храм был передан РПЦ, а с 1991 года в Вознесенском храме возобновились богослужения.
