Здание, в котором размещалась Пономарёвская гимназия , было построено в середине XIX века купеческим сыном Иовом Степановичем Самариным. В конце XIX века его купил отставной нотариус Виктор Николаевич Умнов, имевший на улице Московской ещё несколько домов.
15 сентября 1907 года в нём открылось частное училище 2-го разряда с курсом мужской классической прогимназии, учреждённое статским советником Дмитрием Алексеевичем Захарьиным, который в том же году умер, а на должность содержателя училища был определён епархиальный наблюдатель церковноприходских школ Пензенской губернии кандидат богословия статский советник Сергей Афанасьевич Пономарёв.
Директор гимназии С.А. Пономарев
В 1909 году училище переименовали в частную мужскую прогимназию С.А. Пономарёва, а со следующего года она уже перешла в разряд гимназии, срок обучения в которой составлял 8 лет.
Славу любого учебного заведения составляют прежде всего его выпускники. Для 3-й Пензенской мужской гимназии, или, как её чаще называли, Пономарёвской, самым известным, пожалуй, является Анатолий Борисович Мариенгоф. Поэт-имажинист; более того – родоначальник имажинизма, возникшего, по сути дела, у нас, в Пензе, поскольку именно здесь в 1918 году был напечатан первый имажинистский сборник «Исход»; драматург, друг Сергея Есенина, о котором он оставил свои воспоминания и которому Есенин посвятил поэтические строки.
Приятелем Мариенгофа по гимназии был Иван Старцев, учившийся классом младше, ставший видным библиографом, автором библиографических сборников по детской, художественной и западной литературе. Из той же компании был и Григорий Колобов, живший позднее в Москве на одной квартире с Мариенгофом и Есениным. Он работал в Транспортно-материальном отделе ВСНХ и имел в своём распоряжении салон-вагон, в котором частенько разъезжали с ним по стране его друзья, в том числе и Сергей Есенин.
После революции в здании Пономарёвской гимназии находился горком и губком комсомола, а с 1970-х годов по 1982 год размещалось Пензенское музыкальное училище.