Здание построено в 1848 году. Принадлежало крупному таганрогскому домовладельцу Н. Д. Алфераки. Автором проекта был профессор Петербургской академии художеств, архитектор Андрей Иванович Штакеншнейдер. В свое время дворец Алфераки был центром культурной жизни города; Алфераки давал здесь грандиозные балы, на которые приглашалось избранное таганрогское общество.
Рядом с дворцом, где жил Николай Дмитриевич Алфераки, был построен флигель коридорной системы. Там жили с учителями и гувернёрами сыновья старшего Алфераки — Николай, Ахиллес, Сергей и Михаил.
В конце 70-х годов весь квартал с дворцом перешел во владение купцу Негропонте, который распродал имение по частям. Дворец с садом купило купеческое общество для клуба «Коммерческое собрание». Во дворце устраивались концерты. На одном из них (концерт с участием профессора Петербургской консерватории Л. С. Ауэра и композитора Танеева) был А. П. Чехов. Клуб посещал и П. И. Чайковский, когда был в Таганроге. Жизнь дворца, атмофера его клуба, прогулки в саду запечатлены в рассказах Чехова «Ионыч», «Маска», «Моя жизнь».
К 1840 году Н. Д. Алфераки имел под Таганрогом 2 тысячи десятин земли и 125 душ крестьян; за ним числилось 8 каменных домов и 25 каменных магазинов на таганрогской бирже. По делам службы он много разъезжал, а семья находилась в Харькове. В 1845—1848 годах Н. Д. Алфераки служил в Харьковской губернской почтовой конторе и одновременно управлял делами Харьковского театра, фактически финансируя его.
