Музыкальная школа в Пензе открылась при местном отделении Императорского Русского музыкального общества. Её освящение состоялось 24 сентября (6 октября) 1882. Первоначально для обучения игре на фортепиано, скрипке, виолончели и сольному пению было выделено две комнаты в здании Дома дворянства. Затем, сменив несколько адресов, в начале XX века школа обосновалась в городской усадьбе на улице Пешей (ныне улица Богданова).
Здание школы построено в XIX веке в стиле модерн и является объектом культурного наследия.
С 1902 года школой руководил Лев Соломонович Шор, с самого открытия преподававший в ней фортепиано. В 1904 году в школе начал работу и впоследствии создал Пензенскую фортепианную школу Николай Александрович Витвер.
После революции школа по предложению её выпускника Федора Петровича Вазерского была преобразована в Народную консерваторию. С 1918 года в ней начали обучение около 1000 юных музыкантов.
С 1920 года директором школы стал Алексей Васильевич Касторский. Учебное заведение получило статус училища второй ступени, а затем переименовано в музыкальный техникум. При этом обучение велось непрерывно: подающие надежды учащиеся школы зачислялись в техникум без экзаменов.
В 1925 году директором стал Алексей Сергеевич Турищев, написавший песню «Врагу не сдаётся наш гордый „Варяг“
