Территория имения занимает место городища XIV века. Одно из первых упоминаний о жизни семейства Кудрявцевых в Панском встречается в записках супруги строителя дома генерал-майора Дмитрия Ивановича Кудрявцева, датируемых 1829 годом. Во время войны с поляками раненый русский офицер нашел приют в ее семье и сделал Софии Александровне предложение. При этом ему было 40, а ей — 12,5 лет. Изначально девушка была против брака, но со временем изменила свое мнение, и свадьба состоялась — это случилось в 1796 году.
По преданию в 1812 году в Панском располагалась ставка казачьего атамана генерала М.И. Платова. К этому времени супруги Кудрявцевы построили здесь усадебный дом. Несколько десятилетий спустя основатели усадьбы умерли, и имение перешло во владение их сына. А в середине XIX века оно стало приходить в упадок и вскоре совсем обеднело.
После Октябрьской революции усадьбу отдали под курсы швей, по окончании Великой отечественной войны — под пионерский лагерь и затем — под сиротский приют.
Во второй половине XX века, вплоть здание использовалось как детский дом. В настоящее время заброшенный дом разрушается.
К обшитому тесом основному одноэтажному зданию с деревянными антресолями пристроены деревянный шестиколонный портик и балкон с лестницей. Также сохранился флигель в 50 метрах от дома.
