Архитектурной достопримечательностью Базарной площади являлся не только Рыбный корпус. Шедевром каменного зодчества была Петропавловская церковь которая раньше находилась на месте 86-го дома на лице Московской. Её возвели в 1797 году на деньги пензенского бургомистра, купца Михаила Очкина и с того момента она стала главной приходской церковью Новодрагунской слободы. Это был один из самых богатых храмов города. Позолоченные иконостасы и настенная живопись, выполненные на заказ являлись настоящим произведением искусства. Поэтому не случайно во время своего визита в Пензу, Александр I посетил не только Спасский кафедральный собор, но и этот храм. Знаменательное событие священнослужители решили увековечить и поставили в церкви икону Святого благоверного кнзя Александра Невского с надписью о посещении храма российским императором. При Петропавловской церкви существовал лучший в Пензе церковный хор под управлением Алексея Васильевича Касторского, одного из создателей в Пензе церковно-певческого общества и организатора общедоступных курсов хорового пения и показательного при них хора, насчитывавшего до 500 человек. Кстати, Петропавловская церковь была чуть ли не единственным чистым островком на всей Базарной площади. Её убирали словно резиденцию губернатора. Но славная история храма закончилась в 1931 году, когда его закрыли, а затем и вовсе снесли. В 50-х годах прошлого века здесь построили 5-этажный жилой дом.Кстати, это строение отчасти стоит на могильной земле. На этом месте, в правой части здания раньше стояла часовня у которой в 1914 году был похоронен настоятель церкви протоиерей Фёдор Быстров.
