Губернаторский сад находился в северо-восточной части кремля. С севера и северо-востока территория сада была ограничена крепостной стеной, а на остальном участке забором, проходившем вдоль Ивановского съезда и примыкавшем к гауптвахте, дому военного губернатора и зданию служб.
Распоряжения о постройке нового военно-губернаторского дома и разбивке сада на прилегающей к нему местности были сделаны императором Николаем I при посещении им города в 1834-1836 годах. Для исполнения монаршей воли в Нижний Новгород уже в 1836 году был командирован придворный садовник Пельцель с целью «составления проекта сада на указанном Его величеством месте».
Сад при доме военного губернатора, именуемый так во всех архивных документах, представлял собой в действительности усадебный парк английского типа, в котором по проекту предполагались к посадке тополя душистые, тополя серебристые, липы, клены, рябины, дубы, ясени, ели, орешники, разные воздушные садовые кустарники.
Работы по перепланированию склона Георгиевской горы велись императорским садовником Пельцелем при отсутствии всяких технических соображений и знания строительного дела. Во время их производства была разрушена система каменных, деревянных труб и желобов, отводивших грунтовые воды за пределы кремля, в результате чего вода подземных ключей разлилась под насыпями, быв запружена глубоким фундаментом крепостной стены. Это стало в дальнейшем причиной интенсивных оползневых процессов и усиления разрушения подгорного участка крепостной стены. Работы по ликвидации катастрофических последствий деятельности Пельцеля растянулись на десятилетия и производились в 1850-е годы по проекту и под руководством архитектора Л.В. Фостикова, а в 1860-е годы архитектора Д. Небольсина.
Фактически, к концу XIX века был освоен и благоустроен только верхний участок сада, нижняя же, подгорная, часть находилась в запущенном состоянии.
В начале ХХ века у городских властей возникла даже идея о прокладке по подгорному участку губернаторского сада, вдоль крепостной стены, дороги, ведущей от пристаней к Ивановскому съезду.
После Февральской революции 1917 года доступ в губернаторский сад был открыт простой публике.
При советской власти территория сада не использовалась. В послевоенное время в результате проведения противооползневых мероприятий она была заново террасирована.
