Первой в Харькове была построена в 1657 году деревянная церковь Успения Пресвятой Богородицы, размещавшаяся в крепости немного южнее современною здания Успенского собора. Была она небольшая, холодная и бедная. Не хватало богослужебных книг, молились перед бумажными иконами. Город рос, возникали другие храмы, и Успенская церковь больше не могла вмещать возросшее число прихожан. И 1685-1687 годах на смену ей построили первый в Харькове каменный собор, который находился на месте нынешнего собора. Как и большинство соборных храмов, он был крестово-купольный. Крыша и пять глав собора были покрыты дубовым гонтом. Отдельно стояла каменная шатровая колокольня, в нижнем ярусе которой устроили две «коморы» и погреб, которые сдавали внаем, что приносило церкви немалую прибыль. 3 марта 1733 года в городе вспыхнул сильный пожар. От Успенского собора уцелела только каменная кладка стен. И хотя через год его отстроили, купола покрыли белой жестью и вызолотили крест, в здании вскоре появились трещины. В 70-х годах XIX века его решили разобрать, чтобы возвести новый. В это время Харьков становился торговым и промышленным центром Слободско-Украинской губернии. Формировавшемуся в центре ансамблю официальных зданий должен был соответствовать и главный собор. Скромный «народный» вид старого храма не отвечал духу екатерининской эпохи.
При обсуждении вопроса о строительстве нового храма решили принять за образец здание храма св. Климента, возведенное в 1762-1770 годах в Москве на Пятницкой улице. Особенностью ее композиции являются близкое к квадрату очертание в плане и отсутствие полукруглых абсид и алтарной части. Возвышающийся в центре собора световой барабан главного купола опирается на четыре пилона со скошенными внутренними углами, а расположенные по углам четыре купола не сообщаются с внутренним пространством храма. Во внешнем облике собора отразились черты переходного времени от господствовавшего ранее стиля барокко к классицизму. Фасады выглядят сдержанно, но их немногие лепные украшения еще напоминают о причудливом декоре уходящего стиля. Большой пышностью отличались не дошедшие до нашего времени интерьеры. Великолепен был резной золоченый иконостас, изготовленный, по утверждению литературных источников, по эскизу великого зодчего барокко Растрелли.
Строительство собора продолжалось двенадцать лет, и было завершено в июне 1783 года. По площади новый собор значительно превосходил старый. В нем было четыре престола: главный — Успенский, южный — во имя Казанской Божьей Матери, северный — во имя Святой великомученицы Екатерины и еще один на хорах — в честь Петра и Павла. Кроме иконостаса, гордостью собора являлись две особо почитаемые верующими иконы — Елецкой Божьей Матери и образ святителя Христова Николая. После возведения собора встал вопрос о строительстве новой колокольни. Решение об этом было принято в 1819 году. В колокольне предложили устроить теплый храм во имя св. Благоверного великого князя Александра Невского, в память Александра I и победы в Отечественной войне 1812 года. На это собрали много пожертвований. Работы по строительству начались 8 мая 1821 года и велись с перерывами до 1833 года. Возобновили строительство в 1837 году под руководством архитектора К.А. Тона и вчерне завершили с небольшими изменениями в начале 40-х годов. В 1841 году на колокольне установили позолоченный крест весом 400 кг и высотой 5 м. Закончили работы в 1844 году. Общая высота многоярусной колокольни с крестом составила 89,5 м. Установили на ней 12 колоколов весом от 16,1 тонны до 8 кг. В 1862 году вверху поставили часы с боем, заказанные в Париже у фирмы «Борель». Колокольню соединили с храмом с помощью небольшой «вставки», в которой сделали большие проемы для прохода по первому этажу. Грандиозная колокольня стала главной доминантой исторического центра и до сих пор является самым высоким зданием города. Она радует глаз стройностью пропорции, чистотой форм. Так в архитектуре комплекса собора и колокольни встретились, дополняя друг друга, стили двух эпох прошлого — барокко и классицизма.
После революции 1917 года Успенский собор и колокольню использовали для разных несвойственных им нужд, и они подверглись значительным разрушениям. В 1973 году начались реставрационные работы, в ходе которых было произведено укрепление фундаментов, стен, пилонов, подпружных арок, восстановлены утраченные барабаны центрального и боковых глав собора, вызолочен заново купол, возобновлена наружная и внутренняя отделка. В здании в 1986 году открылся Дом органной и камерной музыки.
29 октября 2004 года глава Харьковской областной государственной администрации Е.П. Кушнарев подписал распоряжение № 136 о передаче в ведение УПЦ Зала в колокольне Успенского собора до 16 ноября 2004 года и всего комплекса Успенского собора до 01 января 2006 года. Распоряжение было оспорено в суде по инициативе депутата областного совета Дениса Шевчука, который обосновал свою позицию тем, что орган Харьковской филармонии находится в коммунальной собственности и имеет значительную стоимость, поэтому именно только жители Харькова вправе решить, как поступить с органом. Распоряжение от 29 октября 2004 года было приостановлено решением суда.
21 ноября 2006 года был восстановлен крест на колокольне. В 2009 году глава Харьковской областной государственной администрации А. Б. Аваков подписал новое решение о передаче Успенского Собора в ведение Харьковской Епархии Украинской Православной Церкви. До 2010 года в Соборе параллельно по согласованному графику будут проходить концерты органной музыки и церковные службы. В начале 2009 г. был подписан контракт на строительство нового органа «Alexander Schuke» в новом строящемся филармоническом комплексе, где с 2010 года должен будет разместиться Органный Зал Харьковской филармонии. После открытия в 2016 году нового органного зала в реставрируемом филармоническом комплексе Успенский Собор полностью перешел в ведение Епархии.
