Свою родословную дворянский род Сумароковых ведёт от некого Левиса, выехавшего из Швеции к великому князю Василию Дмитриевичу и принявшего крещение с именем Иуды. О Сумароковых упоминается в духовном завещании 1498 года князя Ивана Юрьевича Патрикеева, потомка Гедимина главного воеводы великих князей московских Василия II Темного и Ивана III.
Усадьбу в Сивково устроил Пётр Панкратьевич Сумароков действительный тайный советник. За главным усадебным домом был разбит регулярный парк с прямоугольными аллеями лип, устроены два пруда. Крестьяне, проживавшие в Сивцеве, как и хозяева имения, в дни православных праздников посещали церковные службы в соседнем селе Вознесенском.
По семейному преданию Пётр Панкратьевич был крестником Петра I. Он был достаточно богатым и влиятельным человеком – по данным Сенатского архива, в 1737 году в шести его имениях числилось 1670 крепостных крестьян, дарованных якобы своему крестнику, как тогда говорили, «на зубок», самим Петром Великим.
Перед смертью Пётр Панкратьевич все своё движимое и недвижимое имущество разделил между супругой Прасковьей Ивановной и детьми. Сивцево досталось среднему сыну — Александру. Александр Петрович был незаурядной личностью. После блестящей карьеры на государевой службе, он всецело отдаётся писательскому ремеслу. Указом императрицы от 28 августа 1762 года за казённый счёт были ликвидированы долги Александра Петровича, а сам он получил право все свои новые сочинения печатать за счёт Кабинета Её Императорского Величества.
В 1769 году писатель укрылся в родовом имении Сивцево. Поселившись в усадьбе, Александр Петрович по мере сил и возможностей стал налаживать хозяйство. После его смерти осенью 1777 года поместье перешло к его дочери Прасковье, выданной впоследствии замуж за графа Антона Петровича Головина. В начале XIX века главной хозяйкой поместья и соседних с ним деревень становится внучка поэта, дочь графов Головиных Елизавета Антоновна.
Принято считать, что каменный одноэтажный усадебный дом с мезонином весьма простой архитектуры построен в тридцатых годах XIX столетия, когда калужское имение приобрела Татьяна Львовна Миллер, урожденная Толстая. Чета Миллеров окончательно поселилась в Сивцеве после выхода в отставку мужа хозяйки усадьбы, бывшего московского полицмейстера, полковника Федора Ивановича Миллера.
Начиная с 1890-х годов имением владел их внук — гвардии поручик в отставке Федор Владимирович. После революции 1917 года потомков Миллеров выселили из имения, и в бывшем усадебном доме открыли приют для детей с различными психическими заболеваниями.
В настоящее время сохранился дом, построенный Миллерами в стиле позднего классицизма, и парк с прудом.
