Смоленский собор появился на этом месте при обстоятельствах примечательных. В начале ХVIII века здесь располагались восточные ворота Белгородской крепости, на которые, по обыкновению того времени снабжать проездные ворота святыми изображениями, была помещена Смоленская икона Божией Матери. В одну из октябрьских ночей 1703 года часовой Мефодий Иванов увидел исходящий от этого образа огонь, зажегший явившуюся перед ним свечу.
В память о чуде тогда же построили часовню — спустя два года её сменила деревянная Смоленская церковь, а в 1727 году здесь заложили каменный двухэтажный храм. Полностью его освятили в 1763 году. Это была барочная постройка с традиционным для барокко основным объёмом в виде «восьмерика на четверике». Храм имел массивный, вертикально вытянутый двухэтажный основной объём, имеющий удлинённую форму с юга на север, к которому примыкала одночастная овальная двухэтажная апсида. С запада к храму была пристроена небольшая двухэтажная трапезная и четырёхъярусная колокольня. Такая объёмная композиция церкви характерна для храмовой архитектуры Слободской Украины конца ХVII века, хотя в белгородский памятник привнесены некоторые оригинальные черты.
В ХIХ столетии храм перестраивался. Чертежи середины ХIХ века и фотографии нач. ХХ века показывают позднейший архитектурный вариант церкви, под которым скрылись первоначальные формы и декор. Первый раз храм подвергся значительной перестройки в 1859 году. Поводом послужали обветшавшие лестницы, которые вели в основное здание церкви, а там и решили «поновить и сам храм». Лестницы были тогда разобраны вместе с галереями. Вместо этого с запада церковь дополнили пристройкой для помещения в ней новой лестницы. Одновременно радикально изменился и весь фасад здания. Фасадам новой пристройки и колокольни был придан вид более сдержанный, но соответствующий уже новому стилю. Под слоем штукатурки скрылись следы первоначального декора — срубленных наличников, карнизов, обрамления порталов, характерные для ХVII века.
В 1862 году отмечена следующая, самая существенная перестройка Смоленской церкви: «… по Высочайше утверждённому проекту…» С западной стороны стараниями церковного старосты Г.И. Муромцева была возведена очередная пристройка с перекрытием над лестницей, ведущей на второй этаж. Световой восьмерик опирающийся на сомкнутый свод с подпружными арками получил форму ротонды. В сводах были вставлены так называемые голосники — резонаторы звука.
В 20-е годы ХХ столетия храм был разграблен. Хотя в нём и располагались склады — то писчебумажный, то соляной с бакалейным, то бутылочно-тарный — молитвенная жизнь в нём всё же теплилась. Но 26 июня 1936 года было утверждено Курской культкомиссией решение Белгородского городского совета от 28 марта 1936 года о закрытии многих церквей города, в том числе и Смоленского храма.
Церковь, являвшаяся несомненным украшением дореволюционного Белгорода, в советскую же эпоху дважды оказывалась на грани гибели. Ещё в 1943 году в результате артобстрела она лишилась колокольни и в послевоенные годы представляла собой почти руины. Дважды его пытались взорвать — в 1958 и 1974 годах; однако храм устоял. Так, в 1958 году церковь впервый раз решили взорвать, но он выстоял, хоть и содрогнулся от взрыва. В 1974 году её повторно решили взорвать. Но спасла её тогда 3-я школа, ибо после мощнейшего взрыва храм пошатнулся, с него упало несколько кирпичей, а вот школа пришла тогда в «аварийное состояние». Дальше взрывать было нельзя!
Здание огородили забором, за которым образовалась стихийная свалка. В 1980-х годах здание начали реставрировать — с модным в те времена предположением устроить в нём органный зал. С территории было вывезено мусора 763 машины КРАЗ. Последние сорок машин вывезли со двора храма в июне 1996 года, за месяц до освящения. 11 июня храм был освящён Владыкой Белгородским и Старооскольским Иоанном. А до этого на вновь отстроенной колокольне в Великий Четверг 1995 года впервые зазвонили колокола. В 1997 году были обновлены купола и кресты Смоленской церкви.
