Официальное открытие музея состоялось 7 мая 1967 года. В 1979 году музей переселили в старинное каменное здание на улице Ленинской, дом купца Высокосова. В 1980 году были расширены старые экспозиции, созданы новые. В 1984 году музей получил звание народного, в 1988-м был награжден почетной грамотой областного управления культуры. В 1992 году приобрел статус государственного.
В 1992 году к старому зданию дома купца Высокосова, постройки конца XIX века, пристраивается такая же по форме новая часть. Здесь открывается новый музей. К весне 1990 года музей стал филиалом Арзамасского краеведческого музея. За большие заслуги перед сергачским народом, краем в сохранении истории прошлого и настоящего решением губернатора Нижегородской области Немцова Б. Е. от 22 февраля 1994 года Сергачскому краеведческому музею было присвоено имя его основателя Громова В. А.
Краеведческий музей имени В. А. Громова, это не только хранилище экспонатов, но и культурно-просветительное учреждение, место общения сергачан и жителей близлежащих районов разных возрастов и социальных групп, для которых сотрудники музея проводят различные по тематике мероприятия, от традиционных экскурсий, встреч с талантливыми и известными людьми как учащихся школ, так и городской интеллигенции до театрализованных представлений с участием артистов местной самодеятельности; экскурсии не только по стационарной экспозиции и тематическим выставкам, но и выездные по заявкам учителей школ и организаций города.
В музее 7 экспозиционных и 2 выставочных зала. Темы экспозиций: геологическое прошлое, промыслы Сергачского уезда, уголок крестьянской избы, интерьер дворянской комнаты, Русь православная, «Дорогами войны», «Славна земля Сергачская», «Медвежий угол Нижегородчины». Сотрудники музея занимаются научно-исследовательской работой, на основе которой осуществляют публикации в различных изданиях; оказывают методическую помощь сергачанам в подготовке рефератов, дипломных работ, сообщений к урокам, а также собирают и предоставляют информацию о селах, учреждениях, зданиях города и т. д.; активно сотрудничают с районной библиотекой, РКЦД, ДХШ, ДМШ и др.