Дед Григорий Михайлович Рукавишников — основатель рода Рукавишниковых был крепостным, но благодаря смекалке, хватке и труду смог сколотить капитал, пройдя путь от лавочника до «стального короля» сталелитейного завода. Отец Михаил Григорьевич Рукавишников.
Сергей Михайлович Рукавишников, получивший от деда 2 миллиона наследства в 1877 строит дворец на Верхневолжской набережной (арх. И. С. Бойцов, автор проекта скульптурного оформления М. О. Микешин. В период строительства Сергей живет на проценты с наследства, не проявляя интереса к экономической деятельности, уделяя внимание лишь коневодству[1].
По окончании строительства дворца, Сергей Михайлович начал перестраивать усадьбу в Подвязье. В 1913–1916 по его инициативе в Нижнем Новгороде построено здание торгово-промышленного комплекса с банковскими конторами, известное как «банк Рукавишниковых» (арх. Ф. О. Шехтель, скульптор С. Т. Конёнков) – один из лучших образцов стиля модерн в городе.