Нижегородский художественный музей принадлежит к числу старейших и первых в России общедоступных музеев. Инициаторами создания музея выступили профессор Академии художеств Н.А. Кошелев и сын известного фотографа А.О. Карелина — художник А.А. Карелин, а также местная творческая интеллигенция.
Музей был основан по решению Городской думы в 1894 году, протокол заседания Городской Думы от 14 июля 1894 года «Об устройстве художественного музея в Нижнем Новгороде». К этому времени в Нижнем Новгороде официально существовали три музея, Земский естественно-исторический, Епархиальное церковное древлехранилище при духовной семинарии и Петровский исторический музей.
Открытие художественного музея было приурочено к проведению в Нижнем Новгороде XVI Всероссийской художественно-промышленной выставки и состоялось 25 июня 1896 года. В честь открытия музея были выпущены памятные медали — 25 серебряных и 300 бронзовых — для тех, кто принимал непосредственное участие или сделал пожертвования на создание музея. В числе первых посетителей музея, 19 июля 1896 года, была императорская чета — Николай II и Александра Федоровна, которым были преподнесены две специально отлитые золотые медали.
Первоначально музей был открыт в Дмитриевской башне Кремля, в составе двух отделов — исторического и художественного. Одновременно в башне была развёрнута выставка Общества художников исторической живописи, посвящённая Смутному времени, часть экспонатов которой предназначалась в дар новому музею.