Село Толстошеево и впервые упоминается в переписных книгах Мещовского уезда 1646 года. В период 1660—1668 годов этими землями владел царский тесть боярин Илья Данилович Милославский. После смерти боярской вдовы Аксиньи селом владели Обуховы, пока в 1721 году не продали его крупному заводчику Н. Н. Демидову.
Новый хозяин переименовал селение в Брынь-завод, построил плотину на одноимённой реке и в 1725 году открыл завод по производству железа. Он также благоустроил помещичью усадьбу, построив каменный двухэтажный дом с 26 окнами по фасаду и въездом через арку в обширный внутренний двор. В 1736 году им была возведена деревянная церковь с престолом, освящённым во имя Преображения Господня.
Согласно «Описанию и алфавитам к Калужскому атласу», село Толстошеево «Брынский железный завод тож» в 1782 году было во владении А. Н. Демидова. Дворов в селе было 224, имелись пруд, церковь деревянная Преображения Господня, господский дом каменный, два регулярных сада. На реке Брынь — железный завод, в нём пять молотовых, каждая имела два горна, в которых чугун переделывался в железо». Кроме этого, в селе были две мельницы: «пильная о двух рамах и мучная о двух поставах».
После смерти А. Н. Демидова Брынский железный завод попал под опеку государства и был продан калужскому купцу Илье Назаровичу Коробову, который в 1818 году уступил его прапорщику гвардии П. Е. Демидову. В 1820 году усадебные земли села Толстошеево приобрела жена действительного статского советника Екатерина Алексеевна Рябинина. В 1820 году она получила разрешение на закрытие завода, к тому времени давно не работавшего, а его здания сдала в аренду московскому купцу П. М. Александрову для устройства суконной мануфактуры.
В 1830-е годы Брынская суконная фабрика по выпуску сукна вышла на первое место в Российской империи. В 1846-ом на средства выделенные благотворителем П. М. Александрым А. М. Рябинин построил в селе новый каменный храм. Спустя два года рядом построена колокольня.
В 1862 году брынская усадьба и фабрика перешли к сыновьям Рябининой Михаилу и Алексею, а также дочери Варваре Андреевне Толстой, которая после смерти братьев стала единственной владелицей.
После реформы 1861 года село стало центром Брынской волости. В 1865 году в селе была открыта земская школа, а через 26 лет — одноклассная церковно-приходская школа. В 1881 году, не выдержав конкуренции с польскими предприятиями, закрылась Брынская фабрика.
После смерти В. А. Толстой имущество перешло к её сыну Александру Владимировичу и дочери Наталье Владимировне. В 1910 году в Брынь вместе с семьёй переехал известный писатель М. М. Пришвин.
После революции в местных селение Брынь превратилось в колхоз. В советское время усадебные постройки использовались в хозяйстве, пока не превратились в руины.
