Усадьба была построена в 1814 году, в честь победы в Отечественной войне 1812 года. Здание с четырехколонным портиком было главным в городской усадьбе. Когда-то здесь были сад, парк, овраг и ручей.
Одна из существующих легенд о доме, рассказывает, что он каким-то образом связан с творчеством русского писателя Ивана Тургенева — не случайно горожане усадьбу называли «дом хозяйки Муму».
Усадьба Толмачевых была разбита на окраине Калуги в 1814 году купцом-старообрядцем Хвостовым, а в 1881 году она перешла к дворянам Толмачевым и была муниципализирована в 1919 году.
Центральное место усадьбы занимает дом с колоннами. Находившиеся по бокам флигели не сохранились. В комплекс усадьбы входили хозяйственные постройки, оранжерея и усадебный парк.
Усадьба построена неизвестным архитектором в стиле екатерининского классицизма, где в деревянных сооружениях присутствуют элементы, свойственные каменным зданиям.
Известный краевед С. Бессонов в своей книге «Калужский деревянный ампир» (1928 г.) писал, что дом Толмачевых был одним из красивейших зданий деревянного зодчества в Калуге. Уже тогда его нужно было ремонтировать.
Сегодня этот архитектурный памятник памятник деревянного ампира – взят под опеку корпорации Русская Недвижимость, которая занимается восстановлением и реконструкцией усадьбы после пожара, который произошел летом 2011 года.
