С самого начала храм строился как кладбищенский. Деревянная кладбищенская церковь была построена вскоре после того, как под очередное городское кладбище была отведена земля в 1784 году. Строилась эта церковь по образцовому проекту, прилагавшемуся к первому Генеральному плану Рязани 1780 года. В 1807 году при архиепископе Амвросии на пожертвования надворного советника купца Петра Алексеевича Мальшина была построена вместо деревянной новая каменная церковь, в которой находились три престола, главный в честь иконы Божией Матери «Всех скорбящих Радость», правый в честь праведного Алексия человека Божия и левый в честь преподобного Онуфрия Великого. По соседству, одновременно с возводимой церковью, на средства крупнейшего рязанского мецената XIX века Петра Алексеевича Мальшина был построен жилой дом для служителей храма, ибо ежедневно добираться им к находившемуся за городской чертой Скорбященскому храму было затруднительно. При храме Мальшин хотел построить и богадельню, но по просьбе городских властей она была перенесена на другое место ,на угол улиц Курганской и Мальшинской, сегодня улиц Маяковского и Свободы.
Предназначение храма отразилось в его архитектурном решении и на характере внутреннего оформления. Небольшие размеры храма, камерность и уютность интерьера, все это призвано не вызывать чувство восхищения и торжественности, а скорее успокаивать и утешать молящегося, в некоторых старинных источниках храм носит название «Всех скорбящих Утешение». В храме пребывает чтимый список с чудотворной иконы Пресвятой Богородицы «Всех скорбящих Радость». Эта святая икона впервые прославилась в 1688 году в Москве, в Преображенской церкви на Ордынке, где хранилась с давних пор, исцелением Евфимии, родной сестры Патриарха Иоакима. Немалый интерес представляет и Тихвинская икона Божией Матери, оклад которой мастерски вышит бисером неизвестными мастерицами. К числу святынь храма относится икона великомученика и целителя Пантелеимона с частью мощей святого. Иконостас храма написан в 1878 году. Стены храма были расписаны известным рязанским иконописцем Николаем Васильевичем Шумовым. Возле храма погребен епископ Борис Скворцов, возглавлявший Рязанскую епархию с 1965 года по 1972 год. На территории Скорбященского кладбища расположена часовня в честь святой блаженной Любови Рязанской, над местом, где она была погребена.
В годы Великой Отечественной войны на Скорбященском кладбище хоронили умерших в госпиталях Рязани раненых. Позже на кладбище был сооружен мемориал, посвященный воинам-героям Великой Отечественной войны.
