Музей был основан в ноябре 1920 года в соответствии с постановлением Исполкома Ижевского городского Совета как Ижевский музей местного края. Основателем и первым директором музея был врач ветеринарной амбулатории А. М. Филиппов, работавший в музее по совместительству.
Музей неоднократно переименовывался: в 1929 году он стал называться Областным музеем краеведения Вотской автономной области, в 1935 году — Музеем краеведения Удмуртской АССР, в 1947 году — Удмуртским республиканским краеведческим музеем. В 1995 году по постановлению Правительства Удмуртской Республики № 105 от 17 июля 1995 года его переименовали в Национальный музей Удмуртской Республики, а 24 апреля 2000 года по постановлению Правительства Удмуртской Республики № 427 музей получил современное название в честь удмуртского поэта, прозаика, драматурга, национального и общественного деятеля Кузебая Герда.
Первоначальная коллекция музейных экспонатов в 1921 году была перевезена из ветеринарной амбулатории в здание национализированной немецкой кирхи, располагавшееся по адресу ул. Советская, 9. В первые годы существования недостаточное финансирование музея привело практически к остановке его деятельности. В 1922—1923 году штат музея сократился до одного человека — заведующего и сторожа, по совместительству. 1 апреля 1924 года на полную ставку был принят заведующим музея П. А. Антонов. За отчётный 1924/1925 год музей посетили 27 329 человек. По состоянию на 1 октября 1925 года, музейный фонд насчитывал 1508 единиц хранения.
В марте 1926 года директором музея был назначен Кузебай Герд, отправленный в учебную командировку из аспирантуры Восточного научно-исследовательского института в Москве. А. П. Антонов при этом оставался заведующим музеем. В начале мая 1926 года музей переехал в бывший дом купца Новикова, позднее — в здание по адресу ул. Ленина, 7. В 1926—1929 годах директором был М. И. Ильин.
В 1929—1932 годах музей возглавлял Г. Ф. Сидоров. В 1931 году музей переехал в здание Александро-Невского собора, в 1932 году — в здание Михайловского собора, где была создана одна из первых в стране экспозиций с маятником Фуко. В 1933—1934 годах директором музея был Я. К. Кондратьев, в 1934—1937 годы — А. С. Четкарёв. В 1937 году музей переместился в здание по адресу ул. Карла Маркса, 23. В 1937—1939 годах директором музея был Н. Г. Тимофеев. В мае 1939 года директором музея был назначен М. Е. Воронцов.
Накануне войны, в 1939 году экспонаты музея были эвакуированы в Сарапул, в Ижевске продолжал работать только филиал — дом-музей И. Д. Пастухова. В 1947 году коллекции музея были возвращены в Ижевск и размещены в предоставленном бывшем доме З. О. Лятушевича. С 1970 года музей располагается в здании Арсенала Ижевского оружейного завода. В период 1987—1994 годах во время ремонта здания Арсенала музей временно располагался в доме № 214 по Удмуртской улице.
Музей насчитывает до 200 тысяч экспонатов в различных коллекциях: оружие, холодное и огнестрельное, письменные источники и фотографии, памятники истории, археологии и этнографии — национальные костюмы, крестьянская утварь и др. Экспозиционно-выставочная площадь составляет 2107 м². Выставки музея знакомят посетителей с историей и природой Удмуртии и с историей проживающих здесь народов. Ежегодно музей посещают до 200 тысяч человек. Музей располагает редкими книгами и книжными собраниями общим объёмом в 5700 экземпляров.
Здание, в котором располагается музей, ранее принадлежало Арсеналу и является памятником архитектуры XIX века. Оно имеет П-образную форму, открытая часть которого направлена на юг. Общая площадь здания составляет 3000 м².
Архитектором здания Арсенала выступил С. Е. Дудин. Строительство здания началось в 1823 году, а все работы были окончены в 1827 году. Император Александр I, посетивший Ижевский завод и Арсенал, наградил Дудина орденом Владимира 4-й степени. Оно вначале служило складом, на котором могло храниться 75 тыс. единиц стрелкового оружия. В одной из палат располагались эталонные образцы оружия, его отдельных частей и заготовок, а также инструменты и модели заводских механизмов.
В 1914 году в здание переехала ложевая мастерская, до того находившаяся на территории оружейного завода. В 1975 году здание Арсенала было признано памятником федерального значения. В 1987—1994 годах здание было отреставрировано.
