С южной стороны около Успенского собора находится примыкающее к нему Архиерейское подворье, одно из самых древних зданий Астраханского кремля. Деревянные палаты появились в 1617 году, а в 1680-х годах их заменили на каменные. Архиерейский дом ранее состоял из домовой церкви, жилых комнат и архиерейских палат. Он имеет форму прямоугольника, вытянутого по направлению с востока на запад. На наружном фасаде палат имеются изразцы с изображением сцен из «Александрии». На одном из них, Александр Македонский на коне с саблей в руке, на другом лев, охраняющий царский дворец, на третьем — крылатое чудовище. В 1709 году над палатами была сделана надстройка второго этажа с Крестовой домовой церковью во имя Нерукотворного Спаса.
В 1778 году Архиерейский дом сильно пострадал от пожара, после чего в 1799 году здание было надстроено третьим этажом, а в XIX веке здание стало четырехэтажным. Позднее оно неоднократно приспосабливалось под размещение различных учреждений. При этих переделках древний комплекс Архиерейского дома потерял свою архитектурную выразительность и слился с безобразящей его двухэтажной надстройкой.
Как показали исследования, зданию Архиерейских палат и домовой церкви можно вернуть их первоначальный вид, для чего необходимо разобрать надстройку, восстановить утраченные детали и фрагменты древних зданий, стесанные наличники, заштукатуренные ценнейшие изразцы XVI века.
В 2014-2018 годах была проведена масштабная реконструкция здания, включавшая переделку кирпичной кладки всех этажей, дверных и оконных откосов. Было отреставрировано межэтажное и чердачное перекрытие, кровля, окна, фасады, воссоздан металлический крест. Проведены работы по воссозданию стен, перекрытий, реставрации лестниц, заделке трещин в стенах, подшивке потолков, отделке стен и потолков, реставрации интерьеров и козырька, восстановлению кладки фундаментов и цоколя с заменой отдельных камней и участков.
