Иван Сергеевич Ярыгин родился 7 ноября 1948 года в селе Усть-Камзас Кемеровской области, в многодетной семье кузнеца. Затем его семья переехала в посёлок Сизая Красноярского края. В детстве Иван борьбой не занимался, увлекался футболом, играя на позиции голкипера. После школы поехал в Абакан учиться на шофёра, после работы играл в футбол за местный мясокомбинат, куда он устроился на подработку. Высокого, атлетически сложенного вратаря, во время одной из игр, заметил руководитель местной секции вольной борьбы тренер В. И. Чарков, и уговорил его попробовать свои силы на борцовском ковре.
Когда в 1966 году Ярыгин достиг призывного возраста, он переехал в Красноярск, где начал тренироваться у Д. Г. Миндиашвили, который на тот момент уже имел опыт подготовки борцов высокого класса. Миндиашвили договорился с местным военкоматом о том, что перспективного атлета оставят служить в Красноярске, и он получит возможность тренироваться под его руководством. Во время службы в Красноярском радиотехническом училище противовоздушной обороны выиграл первенство Вооруженных Сил СССР по самбо, став мастером спорта в этом виде борьбы. По окончании службы всецело сосредоточился на вольной борьбе, и довольно быстро вошёл в число сильнейших атлетов в этом виде спорта.
В 1968 году выиграл молодёжные первенства России, а потом и СССР по вольной борьбе. При подготовке к чемпионату СССР 1970 года тренировался под руководством Владимира Гусева и Александра Охапкина.
В 1970 году стал призёром чемпионата РСФСР и в этом же году стал чемпионом СССР.
В 1971 году на Спартакиаде народов СССР проиграл киевлянину Владимиру Гулюткину. Однако, блестяще выиграв на чемпионате Европы в Катовице, он вновь становится кандидатом в олимпийскую сборную. В итоге, именно Ярыгина было решено послать на Олимпийские игры в Мюнхен, так как, по мнению тренерского совета, на тот момент он находился в лучшей физической форме.
На олимпийских играх в Мюнхене в 1972 году Иван Ярыгин установил рекорд, который не побит до сих пор : затратил на все свои победные схватки 8 минут 40 секунд, уложив всех соперников на лопатки. Так же досрочно закончил все поединки на чемпионате Европы 1972 года в Катовице, и на чемпионате мира 1973 года в Тегеране. Таким образом, Ярыгин — единственный в истории вольной борьбы спортсмен, сумевший положить всех без исключения соперников на лопатки на трёх самых престижных соревнованиях: Олимпийских играх, чемпионате мира и чемпионате Европы.
Однако, после Олимпиады у Ярыгина наступил спад, и он проиграл несколько крупных соревнований, после чего принял решение навсегда оставить большой спорт, уехал на родину, в село Сизая, где устроился на работу лесорубом . Жизнь в тайге, тяжёлая физическая работа на свежем воздухе вернула Ивану Ярыгину уверенность в своих силах. Его возвращение было триумфальным. В 1974 году, на первом абсолютном чемпионате СССР по вольной борьбе, собравшем сильнейших атлетов страны, Ярыгин с лёгкостью расправился со всеми своими соперниками, многие из которых были намного крупнее и тяжелее его.
За мощный, агрессивный стиль борьбы получил прозвище «Иван Грозный».
В июле 1976 года на олимпийских играх в Монреале завоевал свою вторую золотую олимпийскую медаль. При этом, накануне соревнований он получил серьёзную травму — сломал два ребра, однако, скрыл этот факт от врачей и тренера, и превозмогая боль выиграл вторую Олимпиаду. Ему была доверена высокая честь нести флаг сборной команды СССР на закрытии Олимпиады.
Выиграл международный турнир по вольной борьбе в Тбилиси, Кубок мира.
В 33 года стал главным тренером сборной команды СССР по вольной борьбе. Был главным тренером с 1982 по 1992 год.
С 1993 года по 1997 год — президент федерации спортивной борьбы России, член бюро международной федерации объединённых стилей борьбы. Почётный гражданин Красноярска и Шушенского района. Кавалер Золотого знака ФИЛА.
Погиб 11 октября 1997 года в автомобильной катастрофе на автостраде Махачкала—Кисловодск в Ставропольском крае, недалеко от города Нефтекумска, врезался в припаркованный на обочине грузовик. Похоронен в Москве на Троекуровском кладбище.
