Усадьба принадлежала дворянскому роду Веневитиновых. Здесь провел свое детство будущий русский поэт, философ XIX в. Дмитрий Веневитинов, являющийся четвероюродным братом А.С. Пушкина и ставший прототипом Владимира Ленского в «Евгении Онегине». Дом сочетал конструктивные и декоративные черты барокко и классицизма. Общий вид был близок к нынешнему: вытянутое в длину здание с балконом на главном фасаде. С северной стороны осталась часть антресоли, видимо отсюда поэт любовался видом на парк, фруктовые сады, реку Дон.
С усадьбой тесно связаны и другие известные имена – историка и археолога Михаила Веневитинова, племянника Дмитрия Веневитинова, а также английской писательницы и композитора Этель Лилиан Войнич, автора знаменитого романа «Овод», которая с 1887 года в семье Веневитиновых два года проработала гувернанткой и учителем музыки и английского языка.
После революции 1917 г. последний владелец усадьбы Алексей Владимирович Веневитинов с семьей покидает Россию, через Константинополь перебирается в Англию. Мебель, посуда, картины, предметы быта из усадьбы были вывезены в различные советские учреждения Воронежа. В 1939 г. в здании разместился детский дом, в котором жили дети Испании и сироты. В первые месяцы Великой Отечественной войны в усадьбе располагалась воинская часть. С 1943 г. по 1979 год в главном усадебном доме была сельская школа. Реставрационные работы начались лишь в 1988 году.