Самые ранние документальные данные о селе Берёза, которые удалось найти в фондах областного архива, относятся к 1763. В этом году в Берёзе жило 168 мужчин и 157 женщин. В селе было несколько помещиков. Представитель дворянского рода Александр Николаевич Волжин (1860 — 1937) был последним владельцем местной усадьбы.
окончил гимназический и университетский курс в Императорском лицее цесаревича Николая. Учился на юридическом факультете Московского университета. Был губернатором в Седлецкой и Холмской губерниях (на территории совр. Польши), работал в Министерстве внутренних дел. С 1915 по апрель 1916 был обер-прокурором Святейшего Синода. После 1917 эмигрировал во Францию. Скончался в Ницце, похоронен на местном кладбище «Кокад».
Старожилы вспоминают, что худого слова о барине никто сказать не мог. Бывало, если кто лес ворует, а барин поймает, то не наказывал, а только строгое внушение делал. Справедливый был человек, хотя и строгий. Тем не менее, в 1905 году, когда по стране прокатила волна крестьянских выступлений, у помещика были сожжены дом и контора.
В усадьбе находилась исключительно ценная в научном отношении помещичья библиотека, которая позже была передана земской школе. После революции дворянская усадьба отошла колхозу. Потом в ней расположилась школа. А в послевоенные годы – интернат. Здесь останавливались на постой ребята из других сёл и деревень, чтобы осваивать программу основной и средней школы.
Из ансамбля усадьбы на сегодняшний день сохранился дом для прислуги (сейчас это жилой дом), флигель с мезонином и здание конюшни (тоже жилой дом). К сожалению, флигель находится в плачевном состоянии. Здание разрушается на глазах. От былой роскоши остались лишь лепнина на потолке, остатки паркета.