Согласно историческим данным, Петровское кладбище существовало с XII в. Оно было образовано при основанном ещё в XI в. женском Петровском монастыре, главный храм которого — Петра и Павла на Сильнище (Синичьей горе) сохранился до наших дней.
После упразднения монастыря кладбище стало приходским, носило народное название среди горожан «Новодевичье». На нём захоронено множество представителей известных городских фамилий — губернских деятелей, художников, писателей и просто известных горожан. Про кладбищенскую часовню известно, что она была построена в XIX в., предположительно, это усыпальница семьи Бергов.
В наши дни кладбище является действующим, однако Петропавловская церковь и часовня находятся в плачевном состоянии. Начиная с 2010 года церковь Петра и Павла планируется отреставрировать, но пока кроме попыток консервации здания и установки лесов ничего не предпринято. Что касается часовни, то в 2015-м году проводилось т.н. комплексное обследование сооружения, однако непонятно, будет ли она отреставрирована.