Строительство губернаторского дома в Нижегородском кремле связано с крупнейшими градостроительными преобразованиями, осуществлёнными в Нижнем Новгороде по распоряжению императора Николая I. Ряд таких указаний относился к кремлёвской территории, где должен был образоваться новый ансамбль административного и духовного центра города и располагаться императорская квартира на случай «Высочайших» посещений императором. Первый проект губернаторского дома был составлен в начале 1835 года П.Д. Готманом — известным строителем и начальником по производству «высочайше повеленных» работ в Нижнем Новгороде. Однако проект был отклонён Николаем I по причине «излишеств в строениях и украшениях», отмеченных самим императором, которой также приказал максимально сократить расходы на строительство. Окончательный вариант проекта, в то время именовавшийся «планы, фасады и разрезы», был «высочайше утверждён» 21 ноября 1836 года. Проект в стиле позднего классицизма разработал архитектор И.И. Шарлемань. В 1837 году началось строительство, которое растянулось на несколько лет. Надзор за ходом работ сначала принял на себя архитектор А.Л. Леер, позже — помощник архитектора А.И. Шеффер и городовой архитектор А.Е. Турмышев. В ходе строительства в утверждённый проект были внесены незначительные изменения. Главные фасады военно-губернаторского дома были обращены, северный — на Волгу, южный — в сторону Спасо-Преображенского собора. На первом этаже были запроектированы жилые комнаты членов губернаторской семьи, во втором — императорские покои, гостиная, столовая, кабинет, спальни, буфет и ещё несколько помещений. На третьем этаже располагалась домашняя церковь Святого Духа, освящение которой состоялось 18 сентября 1845 года, епископ Нижегородский и Арзамасский Иоанн совершил в неё первую литургию.
По бокам здания разместились два флигеля, в восточном, вытянутом вдоль кремлёвской стены, располагались губернская канцелярия и квартиры чиновников, в западном — гарнизонная гауптвахта. От дома к флигелю шла кованая железная решётка, поставленная на каменный цоколь. Все работы по строительству дома и флигелей завершились летом 1841 года.
Через пять лет, из-за оползней грунта на откосе, здание, поставленное над обрывом кремлёвского холма, было повреждено, требовался ремонт. В 1846 году инженер А.И. Дельвиг, известный как строитель первого нижегородского водопровода и фонтана, заливая трещины в фундаментах и подвалах, впервые в строительной истории Нижнего Новгорода применил бетон.
Вслед за постройкой губернаторского дворца стал воплощаться в жизнь проект архитекторов И.Е. Ефимова и П.Д. Готмана от 1834 года о разбивке кремлёвского сада на территории бывшего Свято-Духовского монастыря. В 1852 году с западного фасада дома губернатора был разбит зимний сад, в котором среди южных деревьев и растений были устроены грот и фонтан. Сам губернаторский сад спускался по склону холма от самого дома к северной стороне кремля, от Георгиевской башни до Ивановских ворот. Каменный храм Свято-Духовского монастыря сначала был передан единоверческой общине Нижнего Новгорода, а в 1840 году превращён в домовую церковь губернаторского дома. В 1858 году в доме, в гостях у нижегородского генерал-губернатора А.Н. Муравьева, состоялась встреча знаменитого французского писателя Александра Дюма-отца с прототипами его романа «Учитель фехтования», декабристом Иваном Анненковым и его женой Полиной Гёбль. Во второй половине XIX века было проведено ещё несколько ремонтов здания, в 1885 году и в 1894—1896 годах. Тогда, по проекту архитектора Н.И. Иванова был выполнен металлический зонт парадного входа на чугунных столбах и овальные пандусы подъездов. К весне 1906 года было обнаружено «большое количество характерных трещин в каменных стенах, угрожающих разрушением зданию, о чем был составлен акт и с тех пор имелось постоянное наблюдение за состоянием здания», которое со временем только ухудшалось. Стал рассматриваться вопрос о сносе или частичной перестройке здания. Однако министерство, изучив все отчёты комиссий и сметные расчёты, «признало целесообразнее произвести капитальный ремонт старого 3-х этажного дома с подводкой под него нового фундамента, чем сломать дом и взамен его выстроить новое двухэтажное здание». Ответственным за ремонт был назначен младший инженер Строительного отделения Нижегородского губернского правления Е.М. Мичурин. После революции 1917 года дом был переименован в Дворец Свободы. С октября 1917 года домовая Духовская церковь не действовала, а в 1918 году была ликвидирована, при этом исчезли все историко-художественные предметы храма. Предположительно, тогда же была снесена звонница на крыше дома. Позднее в здании разместились новые губернские органы власти. С 1992 года в бывшем доме губернатора размещается экспозиция Нижегородского государственного художественного музея.
