Родился Иван Рыжов 25 января 1913 года в селе Зелёная Слобода Московской губернии. Сегодня это Раменский район.
«Мое амплуа — старик, — говорил Рыжов на встречах с обожающими его зрителями. — Молодым вы меня никогда не видели. Но я, товарищи, был молодым. Точно помню, даю вам слово!» На самом деле в кино Рыжов начал играть достаточно рано: в 1939 г. (ему было всего 26 лет) сыграл есаула в фильме «Кубанцы», в 1940 г. — шофёра в «Брате героя». В 1941 году — юродивого в историческом фильме о жизни первопечатника Ивана Фёдорова, создателя первой в Московском государстве типографии. Но все роли были настолько эпизодическими, что имя Рыжова даже не значится среди актеров, сыгравших в этих картинах.
До 50 лет артисту в кино не везло. Сам Рыжов объяснял такую невостребованность своей «невнятной наружностью». Лицо, мол, простое, круглое, как блин. Где уж тут героев играть… Иван Петрович снялся более чем в 50 картинах, прежде чем к нему пришла слава. Интересно, что востребованным он стал, когда уже и не надеялся на нормальные роли. Режиссёры Рыжова по достоинству оценили только в почтенном возрасте, когда волосы его стали седыми, как снег, а лицо было сплошь изборождено морщинами.
Среди знаковых персонажей первой замеченной зрителями работой стала роль Андрона Макаровича в телесаге режиссёров Валерия Ускова и Владимира Краснопольского «Тени исчезают в полдень» по роману Анатолия Иванова. Потом — Гаврила Афанасьевич Ртищев в фильме «Сказ про то, как царь Пётр арапа женил», директор конезавода в фильме «Цыган». Безусловно, ярчайшими его работами стали фильмы Василия Шукшина «Печки-лавочки», «Калина красная», где Иван Петрович сыграл полюбившегося зрителям отца Любы Фёдора Байкалова.
Василий Макарович, невероятно скрупулезно относящийся к вопросам кастинга и всегда подолгу подбиравший актёров, Рыжова звал к себе безо всяких проб. Шукшин знал, что человека из народа тот сыграет, как никто другой. Впрочем, Иван Петрович и вправду был деревенским мужиком по крови: тринадцатым ребенком в семье, с детства привыкшим к пахоте и лишениям. Семью Рыжовых подвергли раскулачиванию, хотя у них никогда не было батраков, работали сами от зари до зари.
Если съемки шли в провинции, Рыжов благами цивилизации в виде актерского автобуса не пользовался. Дочь артиста Татьяна Рыжова рассказывала в одном из интервью, что отец не раз вспоминал: «В семь утра я уже в пути. Прогуляться по утреннему холодку так замечательно. Однажды добрался до места раньше автобуса. Минут через десять и он подходит. Первым с подножки соскакивает Шукшин и направляется прямо ко мне. Я напрягся, думаю: сейчас скажет, что вчерашняя сцена не получилась, придется переснимать. А Вася спрашивает: „Ты что, пешком ходишь?“ — „Да“. — „Возьми меня с собой“».
После съемок Шукшин уже ждал Рыжова. Молча шагали час до съемных квартир, где разместилась съемочная группа. В тот же день вечером к Рыжову пришла Лидия Федосеева-Шукшина: «„Вася после вашей прогулки вернулся просветленный и прямо с порога объявил: „Как же хорошо мы сейчас с Ваней поговорили!“ О чем беседовали?“ Я недоуменно пожал плечами: „Перед тем как отправиться в дорогу, Василий Макарыч спросил: „Ну пошли?“ А у вашего двора сказал: „Вот, пришли“. Весь наш разговор...“» По словам Шукшина, Иван Петрович был настолько мудрым и тонким человеком, что с ним даже не надо было разговаривать: в его присутствии просто становилось лучше на душе.
Близкие актёра вспоминают, как Рыжов всегда переживал, что кого-то ненароком обидел. Мог позвонить ни с того ни с сего и сто раз извиниться. А человек никак не мог взять в толк, за что Иван Петрович просит прощения.
Как говорят режиссёры, с которыми работал Рыжов, он был человеком очень энергичным, несмотря на возраст. Всегда предлагал переснять сцену, если ему казалось, что он где-то недотянул.
Сильно подкосила артиста болезнь жены Нины. «После того как маму парализовало, кто-то из знакомых посоветовал: „Таня, наймите круглосуточную сиделку, иначе надорветесь!“» — рассказывала дочь Рыжова. Все в семье «хватались за любую работу, чтобы покупать лекарства и платить сиделкам». Иван Петрович, будучи в последние годы высокооплачиваемым актером, как-то попытался успокоить близких: «Того, что заработал, не только хватит нам с Ниной на старость, но и Тане с Лешей останется». Но случился дефолт, все сбережения сгорели...
Рыжов с женой прожили вместе 62 года. Когда любимой женщины не стало, Иван Петрович, по словам родни, тоже хотел уйти: «Не понимал, зачем жить, если рядом нет любимого человека. Тоскуя, создал себе микромир, в котором Ниночка по-прежнему жива: разговаривал с ней, продолжал читать ей вслух книги».
У артиста начало всё чаще болеть сердце, участились головокружения, отнимались ноги. Дочь актера Татьяна Рыжова вспоминает в интервью одному изданию: «Однажды, споткнувшись, он влетел рукой в стеклянную дверь. Стекло разбилось, из глубокого пореза полилась кровь. В 2004 году, сразу после смерти отца, я во всем винила врачей Боткинской больницы: не зашили сразу рану, не поставили капельницу с физраствором, поздно перевели в реанимацию. А сейчас понимаю: он все равно бы ушел, поскольку последний год без мамы оставался на этом свете только потому, что мы его не отпускали».
Как говорят близкие народного артиста РСФСР, после смерти жены Иван Петрович попросил не хоронить его на «звездном» Ваганьковском, он хотел лежать рядом с любимой Ниночкой. Рыжова по его просьбе похоронили с любимой супругой на Перепечинском кладбище. Похороны прошли очень скромно, тихо. Так же, как жили персонажи Рыжова: простые русские мужики.
Простой русский талант. Драма любимого артиста Шукшина Ивана Рыжова 
Офицер Советского Союза. Знаковые роли Василия Ланового 
На разрыв сердца. Василий Шукшин при всей грубоватости был очень раним 
Натянутый нерв Шукшина. Как директор школы стал знаменитым режиссёром 
