В 1864 году был основан Ярославский естественно-исторический музей, в собрание которого входили ботанические, зоологические, минералогические и геологические коллекции. В 1881 году он был открыт для широкой публики. В 1895 году в результате деятельности Ярославской губернской учёной архивной комиссии, был создан музей культурно-исторического профиля, Древлехранилище. В 1909 году было создано Ярославское художественное общество. В его состав входили художники, преподаватели Демидовского лицея, краеведы, которые занималось организацией выставок, выпуском альбомов по архитектурным памятникам Ярославля, проведением публичных лекций по изобразительному искусству. Общество ставило главной целью создать именно художественный музей, галерею. В 1913—1914 годах Санкт-Петербургская Академия художеств передала фонду 14 произведений русских мастеров, а к 1918 году их стало около 30. Одновременно осуществлялся отбор произведений с местных выставок, принимались дары от частных лиц. Собранная коллекция хранилась в Древлехранилище Ярославской губернской архивной комиссии. С установлением советской власти наступил новый этап в развитии музейного дела в России. Уже в ноябре 1917 года при Наркомпросебыла создана Всероссийская коллегия по делам музеев и охране памятников искусства и старины. Музеи должны были не только хранить культурное наследие, но и выполнять идеологическую функцию, внося свой вклад в формирование мировоззрения нового советского человека. В 1919 году было принято решение передать под галерею здание бывшей Духовной консистории, двухэтажный особняк, построенный в 1815 году на набережной реки Которосли, по проекту архитектора Л. Руски. В 1919—1924 годах галерея находится в ведении Ярославского губернского подотдела по делам музеев и охране памятников старины и искусства. В её собрание вошла коллекция, сформированная в предреволюционные годы ярославскими общественными организациями. Во время Ярославского восстания здание галереи сильно пострадало и нуждалось в долгосрочном ремонте. В марте 1920 года часть собрания была выставлена в помещениях Ярославской Большой мануфактуры. С момента основания галерея целенаправленно комплектовала как классическое искусство, так и произведения художников-современников начала XX века. В 1922 году получил официальный статус Музей древнерусского искусства. Его фонд сформировался за счет поступлений из разграбленных в июле 1918 года ярославских церквей, закрывающихся храмов городов и сел губернии. В 1924 году музеи Ярославля были объединены в Ярославский государственный областной музей. В него вошли Естественно-исторический музей, Музей истории и быта, Музей книги, научная библиотека, Художественная галерея и Музей древнерусского искусства. Это не ущемило специализации музеев и позволило сплотить немногочисленные силы специалистов. Художественная галерея, музей древнерусского искусства и живописные реставрационные мастерские, размещаясь в одном здании, практически являлись, единым организмом, объединившим почти весь художественный фонд Ярославля. Регистрация посетителей галереи началась с 1922 года и к 1928 году насчитывала более 40 тыc. человек. Развивались все направления музейной деятельности, научно-исследовательская, реставрационная, экспозиционно-выставочная, пропагандистско-воспитательная, экскурсии, лекции и практические занятия со студентами. При А. И. Малыгине, руководившем галереей до 1929 года, вокруг галереи сплотились все художественные силы города, художники, преподаватели вузов, краеведы, любители изобразительного искусства, студенты. Тогда же сложилась экспозиция русского искусства XVIII века и первых десятилетий XX века. В 1927 году из Госмузейного фонда было получено 56 произведений. К началу 1928 года коллекция уже насчитывала около 1600 экспонатов, картин 335, акварелей, рисунков 149, гравюр и литографий 874, скульптуры 34, прикладного искусства 194 предмета. Во второй половине 1920-х годов в Ярославле, городе с клеймом мятежника, начались усиленные проверки Главполитпросвета и гонения на старых специалистов, из учебных заведений увольняли профессуру, заводили судебные дела на сотрудников музеев. С января 1929 года по март 1936 года Ярославль был лишен статуса губернского города и входил в состав Ивановской промышленной области. С 1928 года по 1937 год статус Ярославского музея менялся трижды, что негативно сказалось на его развитии. Были уволены ценнейшие сотрудники, собрание перевезли в помещение исторического музея. В 1930—1931 годы коллекция была закрыта для публики и хранилась в музейных фондах. В 1932 году музей был преобразован в Ярославский областной краеведческий музей, и галерея существует на правах его отдела. Перед галереей была поставлена задача сформировать коллекцию произведений соцреализма. В новой экспозиции художественного отдела, которая в 1932 году разместилась в залах бывших Митрополичьих палат, до 1936 года по-прежнему выставлялись произведения художников самых разных направлений, но искусство XIX века, кроме передвижников, теперь подавалось как, империалистическое, а работы футуристов ХХ века демонстрировались как явление, чуждое социалистической идеологии.
В марте 1936 года было принято решение восстановить Ярославскую область. В 1937 году галерея получила статус самостоятельного Ярославского областного музея искусств. В 1941—1945 годах музей практически не функционировал из-за Великой Отечественной войны. В 1936 году в связи с начавшимися репрессиями и следственными действиями прокуратуры в отношении современных художников в музей были направлены списки с именами авторов, чьи произведения должны были быть изъяты из коллекции. Под волну репрессий попал целый ряд художников, А. М. Кадак, Н. П. Евдокимов, С. В. Щеглов и другие. От их творчества практически не осталось и следа. Исключением стали произведения, которые, несмотря на предписание, музейные сотрудники не уничтожили. Под свою ответственность они скрывали их в запасниках. В 1980-е годы в состав музейной коллекции были введены работы целого ряда членов Ярославской организации Союза художников, репрессированных и расстрелянных в 1936—1939 годах, Ф. И. Весели, Б. А. Петрухина, А. А. Державина и других. Во время Великой Отечественной войны 1941−1945 годы Ярославский областной музей искусств был закрыт. Здание перешло в распоряжение Военного ведомства. Коллекцию частично эвакуировали в Галич, частично перевезли в помещения Ярославского краеведческого музея. Однако пополнение коллекции продолжалось. После окончания войны музей смог вернуться к выставочной деятельности. В июне 1946 года в отремонтированных Митрополичьих палатах открылась постоянная экспозиция русского искусства, а в ноябре, залы искусства советского периода. С конца 1940-х годов музей начинают называть художественным. Официально переименование было закреплено решением Ярославского областного совета депутатов трудящихся от 20 октября 1950 года без изменения функций музея.
В 1953 году художественные музеи, в том числе и Ярославский, перешли в ведение Управления изобразительных искусств и охраны памятников Министерства культуры РСФСР. Перед ними была поставлена задача, демонстрации русского и советского реалистического искусства с высоким идейным содержанием. В 1950-е году, впервые после 1920-х годов, в музее появляется свой реставратор, Елена Павловна Юдина. Она стала первым квалифицированным специалистом по реставрации темперной и масляной живописи в Ярославле. Результат ее деятельности, не одна сотня спасенных произведений, воспитание плеяды учеников и последователей, которым она передавала свой опыт, создание в 1971 году отдела научной реставрации Ярославского художественного музея. Экспозиция отражала ход развития отечественного искусства с XVIII века до середины 1950-х годов. Три зала занимали произведения древнерусского искусства, восемь залов, русского искусства XVIII — начала ХХ веков, три зала, советского искусства, один из которых представлял ярославских художников. Коллекция советского периода в ярославском музее сформировалась, но была слабой в качественном отношении. А изъятие целого ряда работ талантливых репрессированных художников уменьшило ее и количественно. В 1956 году музеем был издан путеводитель В. П. Митрофанова с краткими аннотационными текстами по залам экспозиции. В 1950-е и начале 1960-х годов было составлено описание около 1300 музейных предметов, икон, русского и советского искусства, живописи, миниатюры, графики, скульптуры и прикладного искусства. На этой основе был выпущен первый иллюстрированный каталог музея.
В конце 1950-х годов коллекция музея переехала из здания Митрополичьих палат в помещения бывшего Спасо-Преображенского монастыря. Художественное собрание на тот момент включало 745 единиц хранения живописи, 2768 графики, 116 скульптуры.26 марта 1959 года был образован Государственный Ярославо-Ростовский историко-архитектурный и художественный музей-заповедник республиканского значения, объединивший музеи Ярославля и Ростова. В него был включен и областной художественный музей. Это ограничивало развитие художественного музея, лишало специализации, тормозило пополнение коллекции, так как приоритет в обеспечении, финансировании, кадровой политике всегда отдавался исторической части. К концу 1960-х годов вновь появилась идея вернуться к самостоятельному художественному собранию, и в 1969 году музей получил самостоятельный статус. Для него в 1970 году выделили особняк на Волжской набережной, бывший Губернаторский дом, где коллекция экспонируется и сейчас. Ряд художественных работ был оставлен в Ярославском музее-заповеднике, но основную часть коллекции, около 6000 предметов, удалось сохранить. Получение самостоятельного статуса, увеличение штата и обретение нового здания раскрывало перед музеем большие перспективы. Общая площадь около двух с половиной тысяч квадратных метров, красивая анфиладная планировка залов позволяли представить коллекцию широкому зрителю более полно, достойно, выявляя ее особенности.
