Итальянский город Бари, где находились мощи святого Николая Мирликийского, был одним из самых популярных центров православного паломничества. По инициативе Императорского Православного палестинского общества здесь решили построить храм для русских паломников.
Автором проекта стал Алексей Щусев, решивший архитектурный облик церкви в стиле средневекового псково-новгородского зодчества.
В 1913–1919 годах он построил одноглавый каменный храм с подклетью (нижним этажом). По политическим причинам внутренняя отделка долгое время оставалась незаконченной — первоначально над храмовыми росписями приглашался поработать Кузьма Петров-Водкин, но революционные события не дали этим планам осуществиться. Только в 1950-е годы художник Альберт Бенуа создал иконостас и написал образы для иконостаса.