Александринский детский приют в Пензе, состоящий в Ведомстве учреждений императрицы Марии и рассчитанный первое время только на приходящих детей, открылся 16 мая 1845 года. Он разместился в специально для него купленном 14 февраля 1845 года на ул. Лекарской двухэтажном каменном доме, который вскоре оказался тесным да к тому же и ветхим и был продан 18 июня 1848 года, а приют с этого времени стал помещаться в наемном доме. Вначале в него приходило 20 мальчиков и 20 девочек, которые получали здесь бесплатные завтраки, обеды и полдники и обучались начальной грамоте. В 1850 году в приюте открылось ночлежное отделение на 12 девочек, закрытое через 6 лет — после смерти попечительницы приюта г-жи Араповой. И только через 20 лет в приюте кроме приходящих детей появились девочки, живущие на полном содержании. Социальный состав детей был неоднородным, но преимущественно это были дети-сироты мещан, солдат и крестьян, причем только девочки, которые обучались здесь также и рукоделию.
В 1897 году в приюте была организована школа по типу городских приходских школ. В этом же году В. Я. Швецова предоставила приюту свой довольно вместительный дом на ул. Дворянской. К этому времени в приюте призревалось уже около 100 девочек, из которых более половины были приходящими. В 1900 году состоялась передача Александринскому приюту всей усадьбы В. Я. Швецовой на ул. Дворянской, располагавшейся неподалеку от ремесленной школы им. Ф. Е. Швецова. Эта усадьба, также как и угловая, в свое время принадлежала купцу Ф. Е. Швецову, которому она досталась в 1874 году от полковницы Веры Шторх и частично была им сдана только что образованной учительской семинарии. 17 сентября 1901 года в перестроенном здании переданной приюту усадьбы состоялся молебен с водосвятием по случаю начала в нем учебных занятий. Условия для нахождения здесь детей были просто прекрасными: к дому была сделана пристройка для рукодельной и мастерской, имелась отдельная комната для игр, две просторные комнаты для классов, столовая на 100 человек, кухня и прачечная, спальня на 40 кроватей, баня. Здание было оборудовано водопроводом.
Дом с мезонином, стоящий в глубине двора, сдавался приютом внаем. В нем в 1900-х годах проживал известный хоровой дирижер Алексей Васильевич Касторский, возглавивший открытое в Пензе в 1902 году Церковно-певческое общество и создавший общедоступные курсы хорового пения и показательный хор при них, число участников в котором порой доходило до 500 человек. После революции он стал председателем совета и исполкома Народной консерватории, возникшей на базе музыкального училища. После него в доме приюта поселился художник Иван Силович Горюшкин-Сорокопудов и прожил в нем до 1918 года. Ученик И. Е. Репина, он полвека проработал в Пензенском художественном училище, оставив о себе память своими работами, самая большая коллекция которых — около двухсот — собрана в Пензенской картинной галерее. Богато украшенное резьбой, здание являлось не только историческим памятником, но и одним из лучших в Пензе памятников деревянной архитектуры. Оно неожиданно сгорело в ходе начавшейся реставрации в 1980-х годах.
А. И. Дворжанский