16 декабря 1884 года открылась ремесленная школа им. Ф. Е. Швецова для обучения столярному, токарному, слесарному, резному, сапожному, башмачному, портняжному делу мальчиков из бедных семей. Она расположилась на усадьбе скончавшегося пензенского головы купца Федора Егоровича Швецова, завещавшего городу дом с флигелем и усадебной землей на углу Дворянской и Никольской улиц, шесть лавок на Базарной площади и 20 тысяч рублей с условием употребить их на устройство ремесленной школы. В ней преимущественно обучались сироты — дети беднейших горожан, которые через 5 лет выпускались со званием мастера I или II разряда. Однако в школе удалось ввести лишь столярно-токарное и сапожное ремесла, которым обучались 20 человек, да и то в 1897 году сапожная мастерская была закрыта за недостатком средств. Денег на содержание школы со швецовского капитала не хватало, поэтому в 1895 году школа была вынуждена испросить у города пособие. Здание, в котором разместилась ремесленная школа, было построено матерью завещателя Варварой Яковлевной Швецовой.
С сентября 1883 года начались работы по приспособлению под школу двухэтажного каменного флигеля, в котором раньше находились службы и сдаваемые в наем под квартиры помещения, в конце следующего года закончилась внутренняя отделка здания. В нем поместились мастерские, спальни на 20 учеников и кухня. В 1887 году отделали примыкавшее к нему здание, в связи с увеличением учащихся в школе до 40 человек. Однако вскоре из-за снижения доходности с торговых лавок на Базарной площади пришлось подвальный и первый этажи его сдать под квартиры 2-му приходскому училищу и для околотка городовых.
Затем к ремесленной школе со стороны улицы Дворянской пристроили двухэтажное каменное здание, сооруженное по проекту губернского инженера Колодко, с домовой церковью во имя Николая Чудотворца, освященной 9 мая 1895 года. Эта церковь была одной из самых лучших домовых церквей в городе. Устроенная на средства В. Я. Швецовой, она помещалась на втором этаже, куда с ул. Дворянской с парадного крыльца вела чугунная лестница, изготовленная на заводе И. М. Лобанова. Паркетный пол в храме и престол из кипариса были сделаны самими воспитанниками ремесленной школы. Резной ореховый иконостас изготовил пензенский мастер Давыдов, иконы для него написал московский художник Сафонов, а внутреннюю отделку церкви выполнил М. А. Рудкевич. Всю церковную утварь — паникадило, хоругви, плащаницу и прочее — приобрела в Самаре за свой счет сама храмоздательница В. Я. Швецова.
1 января 1892 года в здании ремесленной школы открылась картинная галерея, завещанная Пензе ее бывшим губернатором Н. Д. Селиверстовым, которая находилась здесь до 1897 года, до момента перевода ее в здание художественного училища.
А. И. Дворжанский