Коллекция Художественного музея начала формироваться с 1895 года как художественный раздел историко-археологического музея Симбирской губернской учёной архивной комиссии. После революционных событий 1917 года в состав музея вошли национализированные собрания симбирских дворян, промышленников, купцов: В. Н. Поливанова, Е. М. Перси-Френч, А. В. Жиркевича, В. П. Мещеринова, Н. Я. Шатрова.
В 1920 году музей стал самостоятельным. Первоначально располагался в бывшем доме помещицы Перси-Френч.
В 1932 году переведен в Дом-памятник Гончарову, заняв второй этаж здания, на первом этаже находится Ульяновский областной краеведческий музей имени И.А. Гончарова.
В 1920—1930-е годы музей активно пополнялся памятниками, поступившими из Государственного музейного фонда, Пушкинского Дома Академии наук, Государственного Эрмитажа.
В настоящее время фонды музея насчитывают около 11607 единиц хранения.
В фондах музея находятся уникальные коллекции русской и западноевропейской живописи, скульптуры, графики XVI—XX веков.
К числу шедевров западноевропейского искусства, определяющих своеобразие коллекции, относятся произведения выдающихся мастеров Франции, Испании, Голландии XVI—XVII веков: Н. де Ларжильера, Я. В. Скорела, Х. де Вальдеса Леаля, К. Кейнинка, Д. Тенирса.
Гордостью музея являются полотна кисти Д. Левицкого, Ф. Рокотова, В. Боровиковского,, К. Брюллова, А. Иванова.
Уникальна коллекция усадебных портретов, созданных крепостными мастерами Симбирской губернии. Отдел декоративно-прикладного искусства содержит в своём составе античную керамику IV—III веков до н. э., фарфор России, Германии и Франции, художественную мебель, русское и западноевропейское стекло. Музей обладает значительными монографическими коллекциями, без которых нельзя с должной полнотой представить творчество К. Брюллова, В. Худякова и таких ульяновских художников, как А. Пластов, Д. Архангельский.
