Главной достопримечательностью Лысых Гор является заброшенная церковь в бывшей Старой Бахметьевке, построенная и освящённая в 1797 году тщанием помещика Николая Ивановича Бахметева и являющаяся одной из старейших в области. Каменный храм в прошлом имел колокольню, главный престол во имя Рождества Иоанна Предтечи и придел во имя Николая Чудотворца. К его приходу была в числе прочих деревень приписана Графщина. Священник проживал в общественном доме, псаломщик в церковно-общественном.
В советские годы церковь закрыли и разместили в ней сначала контору МТС, а затем зернохранилище колхоза «Родина». Сегодня утратившая колокольню и всё внутреннее убранство церковь пустует и постепенно разрушается, о её возрождении, особенно в свете строительства в посёлке нового храма, речи не идёт.
