1 февраля 1996 года вышло постановление главы администрации города Йошкар-Олы «О создании музея истории города Йошкар-Олы». Музей был открыт после реконструкции здания 30 сентября того же года. У истоков создания музея стояли Глава администрации города Йошкар-Олы Вениамин Козлов, заместитель Главы администрации города Йошкар-Олы Л. Ф. Ожиганов, начальник отдела культуры города Михаил Васютин, а также краеведы и общественные деятели. Первым директором музея стала Людмила Арсеньевна Парманова.
8 мая 2005 года в честь 60-летия Победы в Великой Отечественной войне был открыт отдел воинской славы.
Музей располагает 130 м² экспозиционно-выставочных площадей, 208 м² площади для временных выставок, 40 м² фондохранилищ.
В 2014 году в фондах музея насчитывалось 17 501 экспонатов, в том числе 12 356 предметов основного фонда. Одними из наиболее ценных коллекций являются коллекция фотографий с видами города конца XIX века — начала XX века «Царевококшайск — Йошкар-Ола», коллекция гербовых знаков «Города России».
Постоянная экспозиция музея «Древний Царевокшайск» представляет материалы, рассказывающие о предпосылках основания Царёва города на Кокшаге, его социально-экономическом развитии, истории градостроительства, быте, нравах, традициях его жителей, а также судьбах знаменитых горожан. Градостроительные достоинства города, его научная и культурная жизнь современного периода отражается во временных выставках.
Отдел воинской славы состоит из двух экспозиционных залов. В первом представлена экспозиция «История Великой Отечественной войны в летописи нашего города», во втором зале — экспозиция «Верные воинскому долгу и присяге», рассказывающая о военных событиях современного периода, в том числе об Афганской войне и Чеченских войнах.
Помимо экскурсий по экспозиционным залам, музей проводит пешеходные и автобусные экскурсии по городу, выездные лекции, активно занимается научно-исследовательской и культурно-просветительской работой. При музее работают Общество любителей православной культуры, Клуб знатоков города, действуют объединение по русскому фольклору «Царёв город», детская фольклорная студия «Теремок», Театральная гостиная.
Главное здание музея располагается в главном доме усадьбы Чулкова по адресу «улица Вознесенская, 39». Усадьба является памятником истории и культуры регионального значения. Двухэтажное здание из красного кирпича, украшенное узорочьем и металлической резьбой, было построено в 1911 году на историческом месте: когда-то здесь проходили крепостные укрепления Царёва города на Кокшаге, основанного в 1584 году. В декоративном убранстве здания использованы элементы, архитектурные детали стиля модерн. Помимо главного дома, в усадьбу входят дом с мезонином и флигель.
В 1906 году лесопромышленник Трофим Васильевич Чулков из деревни Савино купил земельный участок в Царевококшайске на улице Вознесенской и построил два дома. В 1908 году — деревянный дом с мезонином, а в 1911 году — два каменных дома: двухэтажный и одноэтажный флигель. Каменные дома строились по проекту и под руководством сына лесопромышленника Николая Чулкова. После постройки дом заняли казначейство и уездная землеустроительная комиссия. Второй этаж двухэтажного дома занимал уездный исправник Иосиф Адамович Каменский.
В 1921 году дома Чулковых национализировали, и в них в разное время размещались уездный и областной продовольственный отделы, Обик и Облплан, Госбанк, сберкасса.
В 1996 году здание было реконструировано, и в нём разместился музей.
