Возникновение населённого пункта Полотняный завод связано с основанием по именному приказу Петра I в 1718 году калужским купцом Тимофеем Филатовым-Карамышевым парусно-полотняного завода. В 1720 году им же в компании с Афанасием Абрамовичем Гончаровым (прапрадедом жены А. С. Пушкина) была основана бумажная фабрика.
В 1735 году завод перешёл в собственность семейства Гончаровых. В 1830 и 1834 годах здесь бывал Александр Сергеевич Пушкин. Усадьба Гончаровых была заложена в первой четверти XVIII века при Афанасии Абрамовиче Гончарове. Были построены главный усадебный дом, корпуса полотняной и бумажной фабрик, церковь Спаса Преображения, Конный двор и Спасские ворота.
В 1775 году Полотняный Завод, превратившийся в одно из самых современных на то время производств, посетила Екатерина Великая. Во время владения усадьбой Афанасия Абрамовича Гончарова, главный дом представлял собой нарядный дворец красного цвета, с белоснежным барочным декором. Его архитектор неизвестен, но некоторые исследователи предполагают, что им мог быть Б. Растрелли. В 1777 году дом был перестроен по проекту К.И. Бланка в типичном для последней четверти XVIII века стиле.
В 1785 году, после смерти А.А. Гончарова, усадьба перешла к его сыну Николаю Афанасьевичу Гончарову, и в этом же году — к Афанасию Николаевичу Гончарову (деду Натальи Гончаровой). Наследники оказались не настолько предприимчивыми, как Афанасий Абрамович, но были вынуждены тратить огромные суммы на поддержание усадьбы.
Тем не менее, строительство господского дома продолжилось. В 1787 году был надстроен третий этаж, а в 1792 году 14 комнат второго этажа были расписаны и отделаны лепниной. В 1811 году в Большой гостиной было сделано перекрытие, фасад приобрел классическую отделку. В работе принимали участие те же мастера, которые расписывали усадьбу Золотарёва в Калуге и дом Щепочкина в Полотняном Заводе.
После Малоярославецкого сражения, с 15 по 17 октября 1812 года (по юлианскому календарю) в усадьбе размещалась главная квартира русской армии и ставка главнокомандующего Михаила Илларионовича Кутузова. С 1832 по 1860 год усадьба принадлежала Дмитрию Николаевичу Гончарову — внуку Афанасия Николаевича Гончарова, затем перешла к его сыну Дмитрию Дмитриевичу Гончарову.
К началу XX столетия усадьба Гончаровых в Полотняном Заводе пришла в некоторое запустение. Последней хозяйкой стала актриса Вера Константиновна Гончарова, вдова Д.Д. Гончарова.
Огромный урон Полотняному Заводу был нанесен в 1920-1940 годы. В 1919 году была разрушена домовая Спасо-Преображенская церковь, вскрыт фамильный склеп Гончаровых. В 1960-е годы на месте храма построили столовую. До войны в усадебном доме Гончаровых размещалась средняя школа, курсы повышения квалификации работников писчебумажной промышленности. В Великую Отечественную войну, в первый день оккупации Полотняного Завода немцами, усадебный дом сгорел, остались лишь остовы стен.
В 1972 году начались реставрационные работы, которые возглавила архитектор В.А. Жилина — праправнучка С.Н. Гончарова, младшего брата Натальи Гончаровой. В июне 1999 года, когда отмечалось 200-летие со дня рождения Пушкина, историко-архитектурный и природный музей-усадьба «Полотняный Завод» был открыт для посетителей.
