Дом был построен тульским металлозаводчиком Иваном Васильевичем Ливенцевым, владельцем уральских металлургических заводов, тульским городским главой. Считается, что именно при нем Тула из захолустной деревни превратилась в современный по тем меркам город. Ливенцев исполнял указ Екатерины Великой, которая в те годы занялась регулярной застройкой российских городов. Правительница требовала постройки новых каменных домов, сетки ровных улиц в городах, ориентированных на центр. В Туле, это Кремль. А также выноса кладбищ за пределы города. Вся новая застройка велась в согласии с генпланом. Указ был подписан в 1779 году, и при Ливенцеве его положения настолько быстро стали исполняться, что Тула значилась в числе городов-новаторов. «Усадьба городского главы, содержателя железоделательных заводов И. В. Ливенцева, была сооружена в конце XVIII века, рассказала Александра Изгаршева. Это законченный, в стиле классицизма, архитектурный ансамбль, состоящий из трехэтажного главного здания и двух боковых двухэтажных флигелей. Объединены они в одно целое высеченной из камня капитальной оградой. Усадьба была построена для общественных нужд, торжественных приемов и встреч, праздничных массовых балов и увеселений. Этой цели служила вся композиция дома с тщательно продуманной планировкой второго этажа, с большущей залой и прилегающими к ней рекреациями».
«К редким, не только в провинции, малым архитектурным формам раннего классицизма, читаем мы в книге доктора технических наук В. Уклеина «Тула — каменная летопись», нельзя не отнести изумительные по своему утонченному изяществу и красоте въездные ворота на бывшую усадьбу тульского городского головы Ивана Ливенцева». А вот как звучит заключительный аккорд описания этого памятника, данный заслуженным архитектором РСФСР И. Грызловым, «От всего сооружения веет каким-то особенным столичным изяществом, выдающим руку крупного мастера.»
«Архитектурное убранство главного фасада ограничивалось рядом плоских и широких лопаток, объединенных в два верхних этажа, продолжает библиограф. В чердачной центральной люкарне раньше размещались большие круглые часы как атрибут почтового учреждения. Усадьба отделялась от улицы оградой с въездными воротами в стиле раннего русского классицизма, расположенными по оси стоящего за ними дома. До нас дошли очень красивые пилоны в виде плотно собранных дорических колонн, несущих антаблемент. Внутреннее убранство дома не сохранилось, но жильцы рассказывают о найденных при ремонте изразцовых печах, мозаике, украшавшей некогда пол. До наших дней сохранилась лишь литая чугунная лестница. Из подвала по подземному ходу можно было добраться к реке. Архитектор особняка неизвестен, но есть предположение, что это был один из крупных столичных мастеров». В 1804 году здание это было продано почтовой конторе и более века, вплоть до 20-х годов, оставалось за ней. Потом дом был отдан под жилье. Сначала там располагались коммунальные квартиры. В конце 80-х годов сооружение перешло к Молодежному жилищному кооперативу.
В советское время активно обсуждался вопрос сохранения усадьбы Ливенцева, памятника архитектуры. В 1985 году тульские организации творческих союзов, театральных деятелей, журналистов, художников, архитекторов, обратились в руководящие органы с предложением о передаче дома Ливенцева для нужд творческой интеллигенции. Тогда к этому отнеслись без понимания. Спустя четыре года вновь поступило обращение, тульская организация «Союз театральных деятелей РСФСР» готова взять на баланс и провести все необходимые восстановительные работы по возрождению памятника и созданию в нем Дома актера. Другие здания усадьбы Ливенцева после выселения оставшихся жильцов готовы с аналогичными задачами взять другие творческие союзы. Старинная усадьба должна была стать единственным в республики, Центром творческой интеллигенции. В конце концов дом №15 по улице Дзержинского был передан решением облисполкома тресту «Тулгоргражданстройпроект» под общежитие МЖК. А его состояние сегодня видят все. Облупившиеся стены, ворота превратились в сплошные развалины. Территория представляет собой что-то невнятное. Ясно, где она начинается, но не ясно, где заканчивается. Кто знает, может быть, если бы усадьба все-таки была в ведомстве тульской интеллигенции, ее дальнейшая судьба сложилась бы по-другому.
