Считается, что трехэтажный дом в стиле классицизма был сооружен за несколько лет до начала Пугачевского восстания. Есть легенда, что во время захвата села в комнате на верхнем этаже была задушена бунтовщиками престарелая хозяйка, не пожелавшая скрыться вместе со своими детьми в лесу. По возвращении, чтобы ничто не напоминало о разыгравшейся здесь трагедии, сыновья решили разобрать верхний этаж.
Документальных свидетельств, подтверждающих эти факты, нет. Разве что составленный Александром Пушкиным перечень казненных пугачевцами дворян, где упоминается имя супругов Дубенских, убитых повстанцами в Пензенской губернии. Правда, о том, где это произошло, не говорится.
На самом деле дом был заложен в 20 – 30-х годах XIX века, т.е. через полвека после пугачевских событий. Сохранились воспоминания предводителя Пензенского дворянства, сенатора Николая Дубенского, датированные этим периодом. Он сожалеет, что в его поместье нет подходящего дома для приема высокопоставленных вельмож, проезжающих по тракту. Видимо, Николай Порфирьевич и затеял строительство дома и обустройство роскошной усадьбы с прудом и парком.
Из-за хронической нехватки средств (дела у сенатора к закату его карьеры были неважные) строительство затянулось. Намного позже новыми хозяевами поместья к дому с обеих сторон были пристроены добротные кирпичные приделы. Это хорошо заметно по разнице стилей архитектуры.
Тем временем дела в имении шли все хуже и хуже. Многих обитателей усадьбы пугала мистическая слава дома. Периодически появляющиеся в комнатах таинственные светящиеся шары (иногда их видят и сейчас) и самопроизвольное перемещение предметов хозяева связывали с казнью помещицы пугачевцами. Люди полагали, что ее неупокоенная душа стала черным знамением дома. Хозяева усадьбы менялись здесь с калейдоскопической частотой.
Кратковременный расцвет барский дом пережил перед революцией. Не верившая в приметы последняя хозяйка дома Софья Ладыженская привела в порядок парк, цветники и сосновую аллею. Прочистила и углубила пруд, в котором развела форель и другие породы благородных рыб. При ней были построены конеферма, небольшая мельница, пасека и теплица.
– Мама работала у барыни официанткой, – вспоминал старожил села Загоскино Виктор Неклюдов. – Она очень любила хозяйку, которая никогда не обижала дворовых и щедро делилась с ними излишками сельхозпродукции – плодами, овощами и медом.
По словам Виктора Николаевича, в доме был весьма внушительный подвал, а в перекрытиях между этажами существовало пространство, в котором мог легко поместиться лежащий человек. Для чего был сделан лаз? Загадка!
Когда расчищали парк, находили много старинных пуговиц, битой фарфоровой посуды, статуэток, монет. Многие из них датировались XVIII веком.
