Иван Васильевич происходил из дворянского рода Гудовичей. Сын Василия Андреевича Гудовича, служившего малороссийским генеральным подскарбием, а после упразднения гетманства переименованного в тайные советники.
Учился Иван Гудович в Кёнигсбергском и Лейпцигском университетах. Службу начал в 1759 году прапорщиком Инженерного корпуса, затем флигель-адъютант начальника оружейной канцелярии П. И. Шувалова.
В короткое царствование императора Петра III сделал стремительную карьеру благодаря помощи своего брата Андрея Васильевича Гудовича, ставшего одним из наиболее приближённых к императору офицеров. В 1761 году он был назначен генеральс-адъютантом дяди императора генерал-фельдмаршала принца Георга Шлезвиг-Голштинского. После прихода к власти Екатерины II (1762) был арестован, но через три недели освобождён и вскоре получил повышение.
С 1763 года он — командир Астраханского пехотного полка, с которым отправился в Польшу, чтобы обеспечить избрание королём русского ставленника Станислава Понятовского. Впервые участвовал в боевых действиях в Русско-турецкую войну 1768—1774 годов. Отличился в сражении под Хотином (11 июля 1769 года), Ларгском (7 июля 1770 года), Кагульском сражении (21 июля 1770 года); командуя отдельным отрядом в Валахии, разбил войска сераскира (11 ноября 1770 года) и занял Бухарест (14 ноября 1770 года); затем командовал колонной в штурмах Журжи (Джурджу) (21 февраля и 7 августа 1771 года); разбил турок при Одалунах (1771). В 1772 году тяжело заболел и покинул армию, в 1774 году вернулся в строй и принял участие в завершающих сражениях войны на Дунае.
После заключения Кючук-Кайнарджийского мира в 1774 году назначен командующим дивизией в районе Очакова и на реке Южный Буг, затем в Херсоне. В 1776 году женился на младшей дочери последнего малороссийского гетмана Кирилла Григорьевича Разумовского от брака с Екатериной Ивановной Нарышкиной.
В 1785—1796 годах — генерал-губернатор рязанского и тамбовского наместничеств; одновременно он — инспектор армии по инфантерии и кавалерии.
В Русско-турецкую войну 1787—1792 годов по собственной просьбе отправлен в действующую армию (оставаясь наместником) и назначен командующим отдельным корпусом. Во главе его овладел укреплениями Хаджибея (14 сентября 1789 года) и крепостью Килия (18 октября 1790 года). С 12 ноября 1790 года — командующий Кубанским корпусом и начальник Кавказской линии; с 7-тысячным отрядом штурмом взял Анапу (22 июня 1791 года), которую защищал 15-тысячный турецкий гарнизон.
При Гудовиче к России присоединены территории Тарковского шамхальства и Дербентского ханства. Под руководством Гудовича построены крепости Усть-Лабинская, Кавказская, Шелководская. Участник подавления Есауловского бунта на Дону в 1792—1794 годах.
В 1796 году, после того как граф В. А. Зубов был назначен командующим войсками, предназначенными для похода в Персию, Гудович подал в отставку, посчитав себя обойдённым по службе. Вместо отставки ему было дано увольнение на два года; при этом императрица дала ему 1800 крепостных в Подольской губернии. По вступлении на престол Павла I получил назначение на место Зубова, а при коронации Павла I был произведён в графское достоинство.
С 1798 года — военный губернатор, сначала — киевский, затем — подольский; на этом посту запомнился как «чрезмерно гордый, старинного века вельможа, особливо противу поляков». В 1799 году — главнокомандующий армией, предназначенной для действий на Рейне. Однако уже в июле 1800 года за критику военной реформы был уволен в отставку.
В 1806 году возвращён на службу и назначен главнокомандующим войсками в Грузии и Дагестане, принял энергичные меры по прекращению чумы на Кавказе.
В Русско-турецкую войну 1806—1812 годов одержал победу над турецкими войсками сераскира Юсуф-паши в битве близ крепости Гумры на реке Арпачай (18 июня 1807 года), за которую был произведён в генерал-фельдмаршалы. После неудачного штурма Эривани (17 ноября 1808 года) отвел войска в Грузию. Тяжелая болезнь (с потерей глаза) вынудила Гудовича в 1809 году оставить Кавказ.
С 1809 года Гудович — главнокомандующий в Москве, с 1810 года одновременно член Государственного совета, сенатор. «Он умел высоко поддерживать высокое звание главнокомандующего в столице, — писал о Гудовиче Ф. Ф. Вигель, — то есть заставлял себе повиноваться, окружал себя помпой и давал официальные обеды и балы. Может быть, в зрелых летах имел он много твердости, но под старость она превратилась у него в своенравие…»
Странности его отмечал и князь П. А. Вяземский, вспоминая о том, что Гудович слыл в Москве «гонителем очков и троечной упряжи». Никто не мог являться к нему в очках, и даже в чужих домах он заставлял их снимать, а приезжавшие в Москву на тройках должны были выпрягать у заставы одну лошадь, опасаясь попасть в полицию за неповиновение.
«Выжив из лет, он совершенно отдал себя в руки меньшого брата, графа Михаила Васильевича, который слыл человеком весьма корыстолюбивым. Оттого-то управление Москвою шло не лучше нынешнего: всё было продажное, всё было на откупе. Подручником последнего был какой-то медик, французо-итальянец, если не ошибаюсь, Салватори, и они между собою делили прибыль. Так, по крайней мере, все утверждали и в то же время были уверены, что медик не что иное, как тайный агент французского правительства. Надлежало непременно сменить Гудовича, и государь сделал сие с обычными ему привлекательными формами, при весьма лестном рескрипте, препроводив к нему портрет свой, алмазами украшенный» — писал Вигель.
За месяц до вторжения французов, 13 мая 1812 года, Гудович был уволен в отставку по состоянию здоровья. Последние годы своей жизни провёл в подольском имении Чечельнике, развлекаясь музицированием и охотой.
Благодаря пожалованиям он располагал крупными поместьями (Иванковцы, Олешин и др.), в которых проживало около 13000 душ крестьян. Скончался граф в 1820 году. Он завещал похоронить себя в Софийском соборе в Киеве, однако его останки были перенесены в Успенский собор Киево-Печерской лавры. После того, как Успенский собор в 1941 году был взорван, могила утрачена
