После князей Барятинских вотчиной долгое время владели князья Голицыны, пока в середине XIX века имение не перешло к Дмитрию Сергеевичу Горчакову — павлоградскому гусару, флигель-адъютанту Александра II, участнику Крымской войны и обороны Севастополя.
Поселившись в имении, где уже были конный завод, службы, кузница и скотный двор, Дмитрий Горчаков преобразил его в райское место. В 1870-ых годах он перестроил усадебный ансамбль в великолепном «русском стиле». Парадная зона усадьбы включала каменный господский дом с регулярным парком, а к Успенской церкви вела дубовая аллея.
Кроме того, Горчаков превратил Барятино в настоящий культурный центр: он собрал богатейшую коллекцию картин, гравюр и прочих предметов искусства, а также пополнил библиотеку до шести тысяч томов, в числе которых было немало редких рукописей и книг XVI—XIX веков.
В 1919 году наиболее значимая часть собрания была вывезена новыми властями в хранилища Государственного музейного фонда, откуда художественные ценности разошлись по различным собраниям. К настоящему времени удалось выявить более 3700 предметов из барятинского собрания Горчаковых. В коллекцию входили работы таких мастеров, как Рубенс, Антуан Ватто, Бушардон, Юбер Робер, Прюдон, Теодор Жерико. Было вывезено 29 единиц живописных полотен, акварельных и пастельных портретов, 8 миниатюр, 9 гравюр, бронзовые предметы изделия из дерева, стекла и фарфора — всего 152 предмета, не считая старинных книг и альбомов. Значительное количество предметов искусства из усадьбы Барятино было вывезено в Калугу и в Тарусу. В 1925 году состоялась продажа остатков имущества Горчаковых. В списке значились предметы домашнего обихода, мебель, карета XVIII века и шесть картин. Вместе с собранием Н. И. Васильева часть коллекции Горчакова стали основой Калужского художественного музея.
После ареста большевиками последних владельцев имения оно пришло в упадок. В 1937 году была разорена Успенская церковь. До наших дней сохранился усадебный дом, в котором располагается средняя школа и ряд других построек. Усадьба, которая была спроектирована по примеру «хоромных» древнерусских домов, состоит из двух корпусов, соединённых галереей. По образцу зданий XVII века созданы наличники нескольких типов, крыльцо с кувшинообразными стопами, железный прорезной узор и разнообразные карнизы. Здание в южной части было увенчано двухярусной башней, верхний ярус которой («башенка») не сохранился.
До наших дней уцелел также и ландшафтный парк с прудом. Успенский храм восстановлен.
