Непросто складывалась судьба этого дома: он неоднократно горел, несколько раз его перестраивали, подправляли и реконструировали. Первоначально здесь размещалась Банковая контора, далее – Променная контора, Коммерческий банк, затем городская таможня.
В 1964 году здание передается Музею изобразительных искусств (с 1994 года – Государственное музейное объединение «Художественная культура Русского Севера»). В течение нескольких лет здесь размещалась экспозиция древнерусского искусства, затем фонды музея.
С начала 80-х годов особняк долгое время находился на реставрации. К концу 1990-ых возникла идея воссоздать здесь атмосферу жилого дома, используя предметы убранства и быта XVIII — начала XX вв., которые хранились в фондах музея. 9 сентября 1998 года, после завершения реставрационных работ музей открыл постоянную экспозицию «Портрет в старинном интерьере», которая дает возможность проследить смену художественных стилей в развитии интерьера конца XVIII – начала XX вв.
Пять залов особняка – портретная и мужской кабинет, голубая гостиная, будуар и столовая перемещают в давно ушедшее время. Мебель, картины, зеркала, фарфор наполняют дом духом прежних эпох и возвращают к некогда неторопливой осознанной городской жизни. В музее воссозданы «Мужской кабинет. Конец XVIII — начало XIX вв.», «Гостиная. 1830-е годы», «Женский будуар. Середина XIX в.».
Особняк на Набережной живет насыщенной, активной жизнью. В нем регулярно проводятся тематические экскурсии, вызывающие неизменный интерес архангелогородцев, российских и зарубежных туристов, организуются выставки. В залах нередко звучит камерная музыка, проводятся детские балы, светские рауты, презентации и приемы.
