Князья Абамелек-Лазаревы объединяли в себе два дворянских рода. Семья Лазаревых приехали в Россию из Ирана в середине XVIII века и возглавили московскую и петербургскую армянские диаспоры. Обладая огромным богатством, они вложили его в предпринимательскую, финансовую и политическую деятельность.
Иван Лазарев состоял в близких отношениях с Потёмкиным, Вяземским, Орловым, Зубовым, Безбородко, Суворовым, Руменцевым. К его советам прислушивались видные царедворцы, в особенности в делах восточной политики. Близки Лазаревым были и грузинские князья Абамелек. Породнившись, род Абамелек-Лазаревых занял ключевые позиции в политике России.
Семья Абамелек переселилась в Россию в конце XVIII века, была в родстве с грузинским царским родом Багратиони. Сын последнего грузинского царя Георгия XII Багратиони Давид женился на Елене Семёновне Абамелек.
В середине XIX века обширный участок земли при спуске с плашкоутного моста через Оку под горой принадлежал получившим дворянство и придворные титулы выходцам из купцов Абмелек-Лазаревым. В 1844 году они заказали архитектору А. Е. Турмышеву проект двухэтажного каменного дома на подвалах. В фасад были включены традиционные четыре пилястры римского ордера и угловой руст, добротно прорисованные наличники с треугольными фронтонами окон первого этажа. В 1845 году дом был отделан.
Здание стало последней работой малоизвестного нижегородского зодчего. С 1850-х годов в здании останавливались приказчики торговых караванов Абмелек-Лазаревых, постоянно находилась контора князей по продаже железа.
Об этом доме ходили легенды, будто хозяева хранили там часть своих несметных богатств. В конце декабря 1918 года в брошенный хозяевами особняк нагрянули чекисты и стали тщательно искать спрятанные сокровища. Они рыскали в доме целый день, пока один сотрудник не задел случайно деревянную завитушку — часть стены сдвинулась, и показалась потайная дверца. Чекисты, как герои сказок, оказались на пороге сокровищницы. В этой потайной комнате было найдено фамильное серебро, редкие картины, золотые и серебряные ювелирные украшения фантастической по тем временам стоимости в миллион рублей. Некоторые предметы из этой коллекции хранятся сейчас в нижегородских музеях.