Поместье Ивана Толстого на своём веку повидало немало известных людей. Не считая знаменитого отца семейства Льва Толстого и не менее знаменитого дяди – Алексея Толстого, в Дубровке бывал сам Александр Сергеевич Пушкин, и поэту так понравилось место, что он даже решил назвать Дубровским героя одного из своих произведений.
Хотя Иван Львович Толстой не был особенно светским человеком, в его доме бывало очень много гостей, занимавшихся науками, искусством, другими полезными и интересными вещами. Впрочем, Дубровка славилась не только при нём. Усадебный дом, построенный на берегу Песочни, сменил нескольких владельцев, а именно – семьи Мансуровых, Ланских, Чаплыгиных, Жихарёвых, Ильиных – и только потом перешёл к Толстым.
До наших дней в усадьбе Дубровка сохранилась роскошная аллея. Главный дом имения с высокими окнами, колоннами и лестницами продолжает разрушаться.
Усадьба построена в 1746 году по заказу Ф.И.Мансурова. Огромный парк, дом на возвышении, хозяйственные постройки — во всём соблюдалась строгая симметрия. Из парка можно было выйти прямо в живописное поле.
С приходом большевиков богатые покои Ивана Толстого были разграблены. В усадьбе устраивали детский дом, пионерлагерь, санаторий, приют для испанских коммунистов, а хозяйственные помещения использовали под коровники, склады и т.д. С 1980-ых бывший господский дом пустовал и разрушался.
В настоящее время некоторые потомки Толстого готовы взяться за обустройство поместья. При этом усадьба Дубровка в Калужской области входит в перечень объектов, принадлежащих музейному комплексу «Ясная поляна».