Рядом с территорией Свято-Троицкого мужского монастыря возвышается величественный собор во имя святого апостола Андрея Первозванного. Инициатива его строительства исходила от церковных властей: Архиепископ Астанайский и Алматинский Алексий (Кутепов) и наместник Усть-Каменогорского Свято-Троицкого монастыря игумен Платон (Дивенко) обратились к бывшему акиму Восточно-Казахстанской области Виталию Леонидовичу Метте с ходатайством выделить участок земли под строительство нового собора. Аким поддержал идею, однако о выделении денег из бюджета тогда и речи не могло быть, поэтому изначально предполагалось, что возводиться храм будет лишь на пожертвования граждан. Новый храм решили строить рядом со Свято-Троицким мужским монастырём.
Строительство собора началось в 2001 году. Во многом оно стало приоритетным потому, что в нём активное, непосредственное участие приняли руководители города и области тех лет – аким Восточно-Казахстанской области Виталий Леонидович Метте и аким Усть-Каменогорска Вера Николаевна Сухорукова. Архитектурный облик будущего храма создавала группа под руководством главного архитектора проекта Юрия Михайловича Трашкова. Случилось так, что не дождавшись осуществления своей мечты построить храм, ушел из жизни Виталий Леонидович Метте. После его смерти дети покойного основали Общественный фонд памяти отца, средства которого предназначались для увековечивания памяти Виталия Леонидовича и, главное, для завершения строительства Андреевского собора. Президентом фонда памяти Виталия Метте стал Валерий Запекин. Среди жертвователей было много предприятий – коллектив клиники «Консайз», коллектив ТОО «СИП», Национальный пресс-клуб, Ульбинский металлургический завод и Казцинк, коллективы подразделений пожарной службы по всей области. Ещё больше в списке простых людей.
Весной 2006 года монастырь посетил аким Восточно-Казахстанской области Жаныбек Салимович Карибжанов. К лету 2006 года здание нового собора в целом приобрело тот вид, который в наши дни стал уже привычным для горожан, приобрёл значение своеобразной визитной карточки современного Усть-Каменогорска. 6 августа того же года был совершен первый молебен в новопостроенном здании. Постоянные богослужения в Андреевском соборе совершаются со дня Рождества Христова 2008 года. 29 августа митрополит Астанайский и Казахстанский Александр совершил великое освящение храма во имя святого апостола Андрея Первозванного Свято-Троицкого мужского монастыря города Усть-Каменогорска. Во время чина освящения в основание престола был вложен ковчежец с частицами мощей небесных покровителей Казахстана – святых преподобномучеников Серафима и Феогноста Алма-Атинских.
Андреевский собор построен в лучших традициях русского православного зодчества: пятикупольный, с высокой шатровой колокольней над входом (тот же тип храма «под колокола», что и первоначальный облик Свято-Троицкого храма). Традиционен и золотистый цвет его куполов, выполненных российскими мастерами. Собор имеет 3 престола: главный – во имя святого апостола Андрея Первозванного, левый – в честь святых мучениц Веры, Надежды, Любви и матери их Софии, правый – во имя святого великомученика и целителя Пантелеимона. Великолепный, белоснежный, с позолотой четырёхъярусный иконостас Андреевского собора выполнен российскими мастерами в Волгодонске. Храм, сразу ставший любимым многими горожанами, рассчитан на две тысячи человек.