В царствование Екатерины II окрестные земли, как и сам город Почеп, относились к обширным владениям бывшего малороссийского гетмана Кирилла Разумовского и его сына Алексея. Небольшой усадебный дом называли в обиходе «охотничьим замком», поскольку сюда граф Разумовский выезжал из своей почепской резиденции на охоту. Обстоятельства его возведения неизвестны, равно как и архитектор.
Алексей Разумовский завещал Краснорогскую волость своим детям, рождённым вне брака и получившим фамилию Перовских, — Льву и Василию. В 1825 г. в усадьбах Красный Рог и Погорельцы поселился их брат Алексей — известный литератор, публиковавшийся под псевдонимом «Антоний Погорельский». После разрыва с мужем сюда приехала воспитывать маленького сына и его сестра, графиня Анна Толстая (1799—1857). Вслед за смертью брата она становится в 1837 г. полновластной хозяйкой Красного Рога.
Сын Анны Алексеевны — Алексей Константинович Толстой — своими ранними литературными опытами продолжил «готическую» традицию в русской литературе, основы которой заложил его дядя написанной в этих краях фантастической повестью «Двойник, или мои вечера в Малороссии». В 1841 г. молодой граф публикует под псевдонимом Краснорогский повесть «Упырь», где речь идёт о вампирах, избравших своим логовом дворянскую усадьбу.
Из-за натянутых отношений с матерью Толстой свил невдалеке от Петербурга собственное «дворянское гнездо» с поэтичным названием «Пустынька». Только после смерти матери и выхода в отставку (1861) он переезжает на постоянное жительство в Красный Рог. Здесь он работает над поэмами и драматическими сочинениями на исторические темы.
В 1875 году А. К. Толстой, страдавший от сильных головных болей, умер в Красном Роге от передозировки морфия и здесь же, в сельском храме, был похоронен. Его вдова Софья Андреевна вернулась в столицу. А ещё через 2 года (13 и 14 июня) в опустевшем имении побывал философ В. С. Соловьёв.
Из строений усадьбы, помимо церкви 1777 года, поэта помнят только флигель и домик хозяйственного двора (бывшая прачечная). Остальные хозяйственные постройки (домик садовника, сторожка и др.) возведены наследниками уже после смерти А. К. Толстого. Сам же «охотничий замок» сгорел во время войны, в ночь на 1 января 1942 года.
Литературно-мемориальный музей А. К. Толстого был открыт 3 сентября 1967 г. в сохранившемся флигеле усадьбы. Рядом установлен в 1972 г. бюст поэта. Экспозиция музея состоит из вещей, которые удалось собрать в окрестностях. Это личные вещи поэта, предметы быта его эпохи, копии портретов его знакомых, старинные книги. Со времени своего создания ежегодно в последнее воскресенье августа музей проводит в Красном Роге областной день поэзии «Серебряная лира».
Проект воссоздания главного дома усадьбы брянский архитектор В. Н. Городков подготовил ещё в 1960-е годы. Однако реализовать его удалось лишь в 1988—1993 гг. при поддержке брянского писателя Н. М. Грибачёва.
В 2014 году Министерством культуры было выделено 40 миллионов рублей для воссоздания оригинального интерьера музея-усадьбы. Часть предметов интерьера XIX века будет выкуплена из частных коллекций. Самым дорогим приобретением для музея может стать шкаф стоимостью 2 миллиона рублей. Директор Елена Ловяго отметила, что доподлинно не известно, как был обставлен дом писателя, поэтому работники музея ориентируются на типичный облик дворянской усадьбы того времени.
В 2017 году всю мебель из усадьбы направят на реставрацию в преддверии юбилея А. К. Толстого.
