Часовня-усыпальница построена в 1818 году по благословению Преосвященного Моисея Платонова епископа Нижегородского и Арзамасского на средства помещика Евграфа Лебедева. Здание часовни представляло собой каменное строение квадратной формы с двумя окнами и решетками с северной и южной сторон. Вход в часовню был с западной стороны. Часовня была увенчана куполом с крестом. Часовня-усыпальница возведена над могилой священнослужителя церкви в честь иконы «Софии, Премудрости Божией» — Петра Дмитриева.
Петр Дмитриев родился в 1734 году в селе Каменки в семье диакона, служившего в храме этого села. С детских лет Петр посвятил свою жизнь Богу, став впоследствии пономарём упомянутого храма. Для уединенных подвигов поста и молитвы Петр Дмитриев уходил за несколько верст от села в лес, где в глухом овраге у него была выкопана пещера близ родника, именуемого в народе «Золотой ключ». Часто к Петру Дмитриеву приходили сельчане за духовными советами, утешением в скорбях и болезнях. Почитали старца и приезжающие из других городов. Много сил и времени отдал Петр Дмитриев, помогая сельчанам строить в селе Каменки каменную церковь в честь иконы «Софии, Премудрости Божией».
Петр Дмитриев скончался в 1814 году, в возрасте 80 лет, был погребен у храма, о котором проявлял свое попечение. Спустя четыре года на могиле старца была возведена часовня. В ней перед образами святых горела неугасимая лампада, еженедельно совершались панихиды.
Часовня подверглась разрушению в 1930-е годы. Начало восстановления часовни положено по благословению Митрополита Георгия Нижегородского и Арзамасского молебном и крестным ходом православных верующих 17 июня 2012 года.
