Деревянная церковь во имя святых апостолов Петра и Павла основана в 1690 году святителем Питиримом, тогда еще на окраине города, а ныне здесь находится областная библиотека имени А.С. Пушкина. Со временем для разрастающегося района города церковь стала тесной и в 1770 году принято решение о перенесении ее на новое кладбище, именованное по храму Петра и Павла, Петропавловское. В 1820 году взамен обветшалой деревянной церкви на средства купца И.В. Шихаева был возведен каменный храм, который в 1938 году был разрушен богоборцами. Последнее здание церкви было сооружено в 1946-1947 годах общиной верующих Покровского прихода для отпевания усопших и до конца 1980-х годов ее несколько раз пытались закрыть и снести.
В настоящее время церковь Петра и Павла действует и представляет собой четверик, завершенный невысоким шатром и луковичной главкой на декоративном барабане. С востока к нему примыкает пятигранная алтарная апсида, а с запада небольшой притвор и отдельно стоящая каменная двухъярусная звонница с луковичным венчанием 2005 года постройки.
