Территория, на которой расположен усадебный комплекс, входила в пределы Малого острога — фортификационного сооружения средневекового Нижнего Новгорода. Предположительно, цепь дерево-земляных укреплений острога возводилась с 60-х годов XIV века и, по некоторым данным, на месте усадьбы располагалась одна из деревянных башен, к воротам которой поднимались два крутых съезда от берега реки Волги. С другой стороны в башню упиралась улица Егорьевская, шедшая вдоль линии укреплений под углом от Происхожденческого монастыря, располагавшегося в районе памятника В. П. Чкалова.
Деревянные укрепления Малого острога были разобраны к началу XVIII века, но земляной вал сохранился. Территория долгое время была окраиной города. Бровка высокого берега Волги, перерезанная оврагами, была неудобной для строительства. Планы Нижнего Новгорода времён классицизма второй половины XVIII — начала ХIХ веков, не затрагивали данный участок, вплоть до 1830-х годов откос и склоны были заняты огородами, банями и служебными зданиями усадеб, расположенных на улице Жуковской.
На фиксационном плане 1792 года на участке указана незначительная деревянная застройка, расположенная вдоль средневекового вала. Большая часть земли была не застроена. С востока к участку примыкал двор с огородом подканцеляриста Ивана Житенина. За валом был построен каменно-деревянный дом с огородом секунд-майора Фёдора Бухвалова.
По плану 1799 года на месте современного комплекса располагалась усадьба, строения которой группировались на углу проложенной по линии бывших укреплений Малой Печёрской улицы и ещё только формирующейся Жуковской улицы. Выход усадьбы к волжскому откосу пустовал. Красная линия будущей Верхневолжской набережной была определена в 1830-х годах, что стало результатом масштабной строительной программы «высочайше повеленных работ».
Первый приезд в Нижний Новгород императора Николая I в октябре 1834 года дал старт проекту. Проект набережной, выполненной губернским архитектором И. Е. Ефимовым и инженером П. Д. Готманом, был высочайше утверждён в 1835 году. Надзор за работами осуществлял инженер А. И. Поднозов. К осени 1839 года было выравнено и покрыто булыжником полотно набережной.
Каменное строительство на набережной началось в 40-х годах ХIХ века и шло медленно из-за невыгодности возведения каменных зданий на окраинной территории города. К середине века были возведены корпуса Мартыновской больницы и Мариинского института благородных девиц, а также несколько частных домовладений, в числе которых и дом нижегородского купца третьей гильдии Серапиона Везломцева, который занимал часть территории будущего ансамбля усадьбы Рукавишникова.
Главный дом усадьбы Везломцева представлял собой образцовый проект в стиле позднего классицизма. В 1868 году усадьбу Везломцева с торгов приобрёл купец первой гильдии, мануфактур-советник Михаил Григорьевич Рукавишников. Согласно описной книге 1871 года каменный двухэтажный дом с надворным строением был оценен в 4 тыс. рублей.
В 1874 году М. Г. Рукавишников умирает, процесс передачи наследства растягивается до конца 1875 года. В 1786 году владельцем усадьбы значился Сергей Михайлович Рукавишников, в 1890-х годах Иван, Сергей, Митрофан, Николай и Евгения Ивановна Рукавишниковы. В июне 1891 года единственным владельцем снова стал С. М. Рукавишников. Собственником усадьбы С. М. Рукавишников оставался вплоть до своей смерти в 1914 году. Из истории дореволюционного периода известно лишь о прокладке в здание нового водопровода в 1906 году. Облик усадьбы на рубеже XIX — ХХ веков неоднократно оказался запечатлён известным нижегородским фотографом М. П. Дмитриевым, по фотоснимкам которого были изданы видовые почтовые открытки.
В советский период комплекс был экспроприирован. В главном здании в марте-июне 1918 года разместился губернский музей. В 1919 году с территории усадьбы выселили сыновей бывшего владельца Ивана и Митрофана Рукавишниковых, принимавших участие в работе по организации музея. В 1920-х годах велись ремонтные работы во внутренних помещениях. В 1927 году была проведена реконструкция к празднованию десятилетия Октябрьской революции.
В 1935 году был проведён новый комплекс ремонтно-реставрационных работ, которые продолжались в послевоенное время. В 1980-х годах ежегодно проводились работы по восстановлению скульптурных и архитектурных элементов фасадов и убранства здания. По старому образцу были воссозданы ворота, ведущие на территорию. Решением Горьковского облисполкома № 559 от 3 ноября 1983 года комплекс взят на охрану как памятник архитектуры областного значения. На рубеже XX—XXI прекратилось финансирование восстановительных работ и памятник пришёл в аварийное состояние. В 1997—2010 годах была проведена масштабная реставрация.
