Когда в 1759-1771 годах в Колпне сооружали двухпрестольную каменную церковь взамен деревянной, её поставили на новом месте. В одном из авторитетных дореволюционных изданий указано, что Колпна имеет две церкви. Это утверждение следует, вероятно, отнести к короткому периоду середины прошлого столетия, когда взамен обветшавшей каменной церкви XVIII века строили памятный старшему поколению новый монументальный Петропавловский храм. Облик его известен по сохранившимся фотографиям. Теперь место этого храма частично занято Домом связи и прилегающей территорией сквера. Старая кирпичная церковь, по-видимому, находилась рядом. Возможно, она была там, где ныне асфальтированная площадка перед входом в Дом связи. Тут в пределах церковной ограды когда-то стояла часовня.
В главе «Колпна сто лет назад» Николай Чернов пишет: «Новый храм в центре Колпны, построенный, вероятно, в 1870-х годах, был действительно красив».
В тридцатых годах прошлого столетия храм в Колпне был разрушен. Несколько десятилетий богослужения в поселке не проводились. В начале 1990-х годов православная община обратилась с просьбой к епископу Орловскому и Ливенскому Паисию о возобновлении церковных служб. Временно богослужения проводились в церковной крещальне-сторожке, которая сохранилась до наших дней.
В 1993 году по благословению Его Преосвященства епископа Орловского и Брянского Паисия за чертой посёлка напротив кладбища был заложен фундамент нового храма в честь святых первоверховных апостолов Петра и Павла. А в 1995 году владыка Паисий освятил место будущего храма. Под престолом были заложены капсула и первый кирпич в строительство стен храма. Его сооружение осуществлялось исключительно на добровольные пожертвования благодетелей и жителей района. Более десяти лет возводились стены нового храма. На личные средства начальника Колпнянского ГАИ И.В. Новгородова приобрели четыре креста, которые возвысились над куполами храма. С помощью бывшего главы администрации района М.Н. Бухтиярова закупили «Звонницу» из шести колоколов. Большую помощь оказали Громов В.А., глава Колпнянского района, ряд руководителей сахарного завода: президент компании И.В. Потапенко, М.В. Павленко, Ю.А. Сергеев. Постоянную поддержку в строительстве и благоустройстве храма оказывала председатель райпотребкооперации И.А. Васина, руководители хозяйств: Г.Д. Полянчиков, В.М. Сергеев, В.М. Шелехов, В.И. Беляева.
Активным жертвователем и благодетелем храма стал президент ЗАО НК «Нобель Ойл» Григорий Гуревич. На его пожертвования проведены более половины внутренних отделочных работ, а также приобретены паникадила, церковная утварь, подсвечники. Но самый главный его подарок — уникальный иконостас.
Освящение нового храма состоялось 2 ноября 2006 года — в день памяти великомученика Артемия. На особом месте в храме висит большая икона святых первоверховных апостолов Петра и Павла, подаренная нашим земляком генерал-майором Николаем Шебановым.
