Художественный музей в Рязани был основан в 1913 году местными энтузиастами, создавшими «Общество Рязанского художественно-исторического музея имени профессора Ивана Петровича Пожалостина». В состав Общества вошли местные художники Александр Александрович Киселёв-Камский, Владимир Павлович Соколов, Сергей Андреевич Пырсин и примкнувшие к ним представители рязанской интеллигенции, служащие, врачи, учителя. Первыми поступлениями в собрание музея стали дары московских художников и коллекция рисунков и гравюр профессора Императорской Академии художеств И. П. Пожалостина.
В январе 1915 года музей был передан в ведение города и 23 марта того же года был открыт для посещения. Его каталог включал 72 наименования, в том числе около полусотни живописных и графических произведений такого художественного уровня, что многие из них до сих пор занимают место в постоянной экспозиции русского искусства начала XX века. Экспозиция располагалась в здании городского Романовского училища на Семинарской улице, где решением городской Управы музею были временно отведены зал и две комнаты. Сегодня это хорошо сохранившееся двухэтажное красно-кирпичное здание начала XX века, один из корпусов Рязанского государственного университета им. С. А. Есенина.
В 1918 году музей вошёл в состав Губернского историко-краеведческого музея. В 1938 году художественный отдел краеведческого, бывшего Губернского, музея был преобразован в Рязанский областной художественный музей. В составе краеведческого музея и позже, как самостоятельное учреждение, музей занимал отдельное двухэтажное каменное здание Консистории, середина XVII века, архитектор Ю. К. Яршов, на территории Рязанского кремля.
С 1980 года музей размещается в памятнике архитектуры русского классицизма конца XVIII — начала XIX веков неизвестного архитектора круга М. Ф. Казакова. Здание, принадлежавшее рязанскому купцу-миллионеру Гавриле Васильевичу Рюмину, было подарено в 1833 году его сыном, Николаем Гавриловичем, Рязанской губернской гимназии под пансион для дворянских детей. В 1868 году с восточной стороны здания было пристроено двухэтажное помещение под алтарную часть гимназической церкви во имя святителя Николая, освящена в 1869 году, сейчас это вход в музей со стороны улицы Свободы. В 1998 году музею возвращено имя И. П. Пожалостина.
Постоянную экспозицию дополняют ежемесячные выставки из фондов музея, из собраний других музеев страны, персональные и групповые выставки современных художников Рязани, Москвы, Петербурга и других городов России. Лучшие произведения из коллекции музея экспонируются на выставках во многих странах мира.