Николай родился 28 февраля 1872 года в селе Бекетово Воронежской губернии в семье управляющего имением. С 1892 по 1901 год учился в Высшем художественном училище при Императорской Академии художеств, с 1896 года — у И.Е.Репина. В 1911 году Петров выставлял свои произведения на международной выставке в Риме, а в 1916-м получил звание академика живописи.
В журнале «Нива» №13 за 1911 год работу художника «Балкон» описывают как «прелестный пейзаж, полный свежести и особой милой семейной интимности». А в №39 за 1913-й год о его творчестве пишут так: «В своих картинах художник Н.Петров возстановляет пред нами старинную помещичью барскую жизнь, которая уже так хорошо знакома нашему поколению по романам Гончарова. В картине «Старый барин» чувствуется даже нечто типично гончаровское: пред нами сам Обломов, дремлющий у себя на диване, с неизменной трубкой…».
Николай Филиппович Петров сначала жил в Санкт-Петербурге, но в 1910 году переехал в Пензу. С 1910 по 1918 год работал директором Пензенского художественного училища, а затем до 1936 года преподавал в нём.
В 1936 году художник вернулся в Ленинград, где стал заместителем директора Всероссийской академии художеств. С 1937 по 1939 год он там же возглавил кафедру живописи. Николай Филиппович Петров скончался 9 декабря 1941 года в блокадном Ленинграде.