Тюремный комплекс, возведенный в начале XIX века, расположен к западу от храма-памятника во имя святого благоверного князя Александра Невского.
С северо-западной стороны к нему был пристроен прямоугольный объем под двухскатной крышей, отмеченный по центру небольшой главкой, 28 июня 1913 года в нем была освящена тюремная церковь во имя святителя Тихона Задонского. Храм был приписан к собору.
Дворжанский А.И. История Пензенской епархии. Кн.2 «Храмы» (электронная версия); опубликовано на сайте http://pravoslavie58region.ru