До 90-х годов XIX в. на его месте находился дом – часть усадьбы купчихи Андреевой. Дом якобы настолько безобразил Соборную площадь, что городские власти его выкупили и «в 1892 г. устроили возвышенную террасу с опорной стенкой по ул. Никольской (ныне ул. Карла Маркса), которая оканчивалась к ул. Московской усечённой пирамидой, выложенной из камня, с двумя входными арками. До революции на ней хотели установить вначале памятник императору Александру II, затем основателю нашего города царю Алексею Михайловичу».
Следует добавить, что в качестве материала для облицовки «Грота» был использован камень, который ранее предназначался для строительства часовни в честь Александра II, убитого народовольцами в марте 1881 г. За 11 лет для часовни так и не нашлось места на Соборной площади. В результате ни часовни, ни памятников царским особам в Пензе до Октябрьской революции не появилось.
