Рядом со Спасским Кафедральным собором находится место упокоения останков архиереев. Здесь находятся захоронения пензенских святителей — Афанасия, Амвросия, Григория и Антония, останки которых в 1998 году по благословению архиепископа Пензенского и Кузнецкого Серафима были извлечены из-под спуда земли на Советской площади и перезахоронены здесь.
Этот красивый трехэтажный дом с шестиколонным портиком был построен в XVIII веке как резиденция пензенских наместников. В 1780—1796 годах правителем пензенского наместничества был генерал-поручик Иван Алексеевич Ступишин, которому и обязаны своим устройством присутственные места Пензы. В 1796—1797 годах в этом доме пребывал второй по счету наместник — действительный статский советник Михаил Яковлевич Гедеонов.
После упразднения Пензенской губернии дом некоторое время пустовал, и его занял саратовский и пензенский архиерей Гаий. Он происходил по женской линии из князей Грузинских, ведущих свою родословную от библейского царя-пророка Давида, от которого происходит по плоти и сам Иисус Христос. Несмотря на восстановление в 1801 году Пензенской губернии в своих правах и назначение в Пензу губернатора, здание осталось в ведении епархии. Здесь была до революции и сегодня по-прежнему резиденция пензенского архиерея.
