Участок земли, на котором ныне расположен храм, был приобретён Русской духовной миссией в Иерусалиме в 1909 году. Местные турецкие власти не давали разрешения на строительство храма. Начальником миссии был архимандрит Леонид (Сенцов). Он предложил сначала построить трапезную для паломников, которые в то время прибывали в Хайфу морем. Руководил строительством церкви инженер Борис Гуревич.
В 1912 году миссия начала ходатайствовать перед турецкими властями о разрешении перепланировать трапезную. К зданию пристроили алтарь, сделали иконостас из серого мрамора, поставили колокольню. В начале 1913 года разрешение было получено, этому помог юбилей Дома Романовых, в честь которого русский участок в Хайфе предложено было именовать «Романовским подворьем». Вопрос решился не так быстро, как того хотелось, и улаживание многочисленных формальностей потребовало дополнительного времени. 14 ноября 1913 года храм во имя Ильи Пророка был торжественно освящён Патриархом Иерусалимским Дамианом.
В отчете Русской духовной миссии отмечается, что «храм Илии на горе Кармил близ города Кайфы очень небольшой. В форме греческого креста и греческой архитектуры, но для крайне немногочисленных паломников и немногочисленных местных православных жителей –арабов вполне достаточный. Иконостас небольшой, одноярусный, но хороший. Ризница и утварь небольшие. Вещи взяты в основном из Троицкого собора в Иерусалиме, а отчасти пожертвованы».
Размеренную жизнь храма прервала Первая мировая война. Приток паломников из России практически прекратился, и церковь большей частью бездействовала, не имея священника. В 1920 – 1930-е годы в храме Илии Пророка служил арабский православный священник протоиерей Николай, который после смерти был похоронен на территории русского участка рядом с храмом. После этого службы в храме проходили от случая к случаю, когда приезжали паломники со священниками.
После образования государства Израиль объекты Русской Духовной Миссии, располагавшиеся на его территории, в том числе Церковь пророка Илии в Хайфе, перешли в ведение Московского Патриархата (ранее они находились в ведении РПЦЗ).
Весной 1991 года в храме Гроба Господня был рукоположен во священники Мирослав Витив. Его назначили настоятелем храма Илии Пророка. После приезда Патриарха Московского и всея Руси Алексия II в том же году паломническая жизнь активизировалась, реставрировались храмы, появлялись новые священники.
