До 1831 года земли, на которых располагается усадьба, принадлежали помещику Собакину (прообраз Собакевича из «Мертвых душ»), знаменитому своими нравами. Из краеведческих очерков Н. С. Толстого нам известно, что он ложился в гроб посреди деревни и заставлял крестьян себя оплакивать. Если видел, что кто-то улыбался, выскакивал из гроба и начинал бить крестьян, приговаривая: «Вот так вы оплакиваете барина. Вот так!».
Но в 1831 году московский дворянин, в чьём доме бывал Пушкин и Чаадаев, участник войны 1812 года, отставной гвардии поручик Николай Васильевич Левашов (1790—1844) купил себе часть деревень и сёл у Собакина, чтобы стать лесопромышленником. Кроме этого, ему захотелось построить себе в этих краях усадьбу. Он был женат на Екатерине Гавриловне, дочери Гавриил Степановича Решетова, и у них был шестеро детей: четыре сына – Анатолий, Николай, Валерий, Василий и две дочери – Лидия и Эмилия. В 1838 году Эмилия вышла замуж за барона Андрея Ивановича Дельвига, в 1839 году умерла Екатерина Гавриловна. На следующий год Лидия вышла замуж за графа Николая Сергеевича Толстого. Эмилии Николай Сергеевич отписал в черновом прошении деревни с центром в Галибихе, а Лидии – с центром в Богородском.
В 1839 году началась история усадьбы, так как именно в этом году Андрей Иванович Дельвиг создал её проект. Для постройки усадьбы он выбрал место близ деревни Галибиха, частично спроектировал парк и составил чертеж дома, а также посадил полосу вётл для укрепления ветлужского берега. Но проект не был осуществлен из-за перемены решения Николая Васильевича по вопросу раздела имущества. В 1844 году Левашов скончался, и после дальнейшая история усадьбы была связана с сыном Николая Васильевича – Валерием Николаевичем Левашовым.
В 1861 году Валерий Николаевич, оказавшись в Галибихе, занялся делами поместья. По эскизам Дельвига построил второй дом усадьбы, где размести своего старшего сына Вячеслава, за что в народе этот дом прозвали «Славиным». А для другого сына, Валерия, у оврага, где протекает ручей, построил одноэтажный дом, украшенный резьбой – «Валерин дом». От этого дома через овраг был перекинут ажурный мостик, и далее на широкой поляне расположился ещё один дом усадьбы – «Белый дом». Первоначально дом был двойным, и дома были соединены стеклянным переходом, в одном из них была астрономическая вышка с телескопом, но в 1949 году эту часть дома вывезли в Воскресенское. «Белый дом» называется ещё «кондыревским», так как, предположительно, в нём жила дочь Валерия Николаевича – Анастасия, чьим мужем был Иван Павлович Кондырев, занимавшийся научными исследованиями и писавший стихи.
Рядом с этими постройками были раскинуты сад, огород и оранжерея. В парке был собран богатый флористический состав древесных и кустарниковых пород, среди которых встречались как местные, так и привезенные из других мест. Наибольшую ценность представляли 38 экземпляров кедров, а также веймутова сосна, лиственница сибирская, тополь серебристый, серая ольха с рассечёнными листьями, боярышник, ирга колосистая (винные ягоды).
Оставшуюся жизнь Валерий Николаевич посвятил семье и благотворительности в пользу крестьян. До самой своей смерти в 1877 году бывал в Галибихе. В его доме, остались жить его сыновья: Вячеслав и Валерий. Валерий Валерьевич и Вячеслав Валерьевич Левашовы – последние хозяева усадьбы. Вячеслав Валерьевич умер в 1912 году и был похоронен в семейном склепе.
После революции имущество разграбили. В 1927 году на базе усадьбы была создана огородническая артель. Затем здесь находились колхоз, школа, детские ясли, сельский совет, почта, изба-читальня. В 1964 году в каменном здании усадьбы расположилась участковая больница, а на территории усадьбы был открыт дом отдыха Горьковского дома ученых, турбаза «Ветлуга».
В 2008 году окрестности усадьбы Левашовых оказались на территории созданного природного парка «Воскресенское Поветлужье». В настоящее время в одном из домов усадьбы открыта художественная галерея «Дворянское гнездо».
