Одним из самых замечательных памятников деревянного зодчества являлась Успенская церковь, которая находилась в селе Боровском, в двух километрах от Рыльска. По преданию, эта церковь была построена по указу последнего удельного Рыльского князя Василия Шемяки в течение трех дней в ознаменование неудавшейся осады г. Рыльска в 1502 году последним ханом Золотой Орды Шиг-Ахметом. Татары, постояв у стен города, не решились брать его приступом и отступили. Примечательно, что Успенская церковь была построена из дуба, без применения металла. Все крепления состояли из врубок и деревянных нагелей. Крыша была четырехскатная, покрытая тёсом. Притвор-колокольня устроена в виде восьмерика на четверике, крыша была шатровая. Небольшая глава под крестом находилась на срубленном восьмерике. Здание имело в длину 16 метров, ширину от 4 до 5 метров. Окна были волоковые.
Церковь была сожжена вместе с селом фашистами во время отступления в начале марта 1943 года.