Троицкий парк хранит историческую память наших предков. Почти два века назад парк украшал главный храм города – кафедральный собор Святой Троицы. Кирпичный собор в формах позднего классицизма, прямоугольная в плане однокупольная постройка с боковыми пилястровыми портиками и трехъярусной колокольней под шпилем.
Собор был заложен 19 июня 1838 года. Место было определено в самом центре города. Сам император Николай Павлович утверждал соборный проект. Строили всем миром, долго, по мере сбора пожертвований. В соборе было тепло — внизу была установлена амосовская печь, названная так в честь своего создателя, российского военного инженера Николая Алексеевича Амосова. Почти все внутренние стены были покрыты росписью. Купол украшало изображение Святой Троицы, а верх алтаря и трапезы были украшены лазурью.
В византийском стиле был выполнен фасад. К храму пристроили придел во имя Архистратига Михаила, отделанный аркой, которая была освящена 2 декабря 1842 года, главный придел освящен 29 июня 1847 году. Собор окружала ажурная металлическая ограда, перемежающаяся каменными опорами. На углах стояли небольшие башенки, покрытые жестью. В 1867 году на колокольню был поднят 516 пудовый колокол.
В 1868 году собор посетил великий князь Владимир Александрович, которого сопровождали попечитель генерал – адъютант граф Борис Александрович Петровский и Григорий Сергеевич Аксаков, бывший в то время начальником губернии.
Троицкий собор был богатым. В апреле 1919 года уездной комиссией по отделению церкви от государства у Троицкого собора конфискованы ценные вещи и храмовая утварь. Во второй половине 1931 года собор был закрыт, приступили к его разборке. В 1940 году на месте Троицкого собора во весь квартал был разбит сквер. На том месте, где когда-то сиял куполами Троицкий собор, в 2005 году были установлены крест и памятный камень. В настоящее время в Троицком парке города Бузулука возведена часовня Троицы Живоначальной в память о кафедральном Троицком Соборе.