Несколько больших зданий в Рыльске построил купец-миллионер фон Филимонов. Одним из ранних его строений является жилой дом по улице Ленина. В конце XVIII века он начал строить трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже этот жилой дом отдали под духовное училище. В начале XX века к зданию был пристроен большой корпус в другом архитектурном стиле, теперь старая часть резко отличается от поздней пристройки. В настоящее время в этом здании размещается Рыльский аграрный колледж.
Церковь Кирилла и Мефодия при семинарии (до 1906 г. — духовного училища) находилась на третьем этаже в западном крыле здания, построенном в 1876 г. Имела площадь 205 квадратных метров, внешне была выделена главкой. Стены и потолки этой церкви были заполнены прекрасными фресками художника Ижакевича. Сверх крыши поднимался купол с луковкой и крестом. Закрыта вскоре после революции.
