В самом центре Головинского проспекта на Гунибский площади располагался Тифлисский Александро-Невский военный собор.
Бывший главный священник Кавказской Армии протоиерей С. Гумилевский в 1864 г. подал на имя наместника Кавказа записку, в которой просил о постройке более просторного храма в верхней части Александровского сада. Его Высочество Наместник Кавказа Великий князь Михаил Николаевич с особенным вниманием отнесся к заявлению, так как построение собора было его личным заветным желанием, — причем им было указано и место построения храма — Гунибская площадь, «и чтобы храм этот, предназначаясь для Богослужений, в то же время был памятником славного окончания Кавказской войны».
16-го апреля 1871 г. состоялась торжественная закладка собора. Однако начавшаяся вскоре война с Турцией надолго приостановила работы по постройке храма. В 1890 году первоначальный план постройки собора был изменен, на той же Гунибской площади было избрано другое место для его сооружения. 21 мая 1897 г. собор был освящен Экзархом Грузии Владимиром. Строителем собора был инженер-полковник В. П. Герасимов.
В собор вели массивные двери темного резного дуба с бронзовыми украшениями. Он обильно освещался через 81 окно. Расписывали храм местные художники Колчин и Лонго. Стены собора были покрыты живописными изображениями и орнаментом. Внутри собора на задней стене были щиты с перечислением полков и частей войск, участвовавших в покорении Кавказа.
Возле храма располагалась четырехъярусная колокольня. Вся площадь храма была окружена железной оградой с 3 воротами. Вокруг собора стояли красивыми группами пушки, отбитые разновременно у персиян, турок и Шамиля.
Собор был трехпрестольный: главный — во имя Благоверного Великого князя Александра Невского, правый — во имя Архистратега Михаила, левый — во имя Николая Чудотворца.
В 1930-е гг. по указанию Л.П. Берия собор был разрушен. На его месте выстроили дом Правительства.
