Иван родился на Полтавщине, в деревеньке Красионовке, недалеко от города Золотоноши. Там его отец, Максим Иванович, имел небольшое крестьянское хозяйство, а затем переехал в соседнее село Богодуховка. В роду Поддубных все мужчины обладали огромной физической силой и исключительным здоровьем. Мать Ивана, Анна Даниловна, также происходила из старинной казацкой фамилии, славящейся своим долголетием. Семья была большая: четыре сына и три дочери. Как и все крестьянские дети, Иван с детских лет помогал по хозяйству, летом тяжело работал в поле, а зимой ходил в церковно-приходскую школу. А еще он обладал удивительной чистоты и звонкости альтом и по воскресным и праздничным дням пел в церковном хоре. Все братья Поддубные слыли в селе силачами. Младший, Митрофан, никогда не уступал по силе Ивану и, по свидетельству очевидцев, в одиночку как-то вытянул лошадь из заброшенного колодца и 300-килограммового быка из погреба.
Иван же отличался не только силой, но и постоянным желанием в чем-нибудь соревноваться. Он с другом Петром Котом часто боролся со сверстниками, но с каждым разом желавших состязаться с ними становилось меньше: в драке против них не могли устоять никакие ватаги парней. В двадцать лет вслед за своим приятелем Иван, несмотря на недовольство отца, терявшего надежного и сильного помощника, оставил отчий дом и отправился искать счастья в Крым. В Севастополе Петр привел земляка в порт к своему хозяину-греку. О таком грузчике владелец разгрузочной фирмы «Ливас» до этого мог только мечтать: Иван, проводя на трапах по 16 часов в сутки, работал легко и споро, шутя взваливал на плечи громоздкие ящики и, словно циркач, шел с ними по шатким доскам на палубу, а мешки таскал так, будто они были набиты пухом, не зерном. Вскоре грузчики-украинцы прозвали его Иваном Велыкым, т. е. Иваном Большим, а вслед за ними и капитаны, матросы, пассажиры стали звать Иваном Великим, как бы предугадывая будущее.
В 1895 году Иван в качестве старшего рабочего конторы вместе с фирмой переехал в Феодосию. Здесь он познакомился с двумя учениками мореходных классов, Антонином Преображенским и Василием Васильевым. Молодые люди были заядлыми спортсменами и сумели убедить иронично относившегося к постоянным тренировкам Поддубного серьезно заняться обычной зарядкой и бегом по утрам, гимнастикой, гантелями и гирями. Иван поначалу посмеивался – куда, мол, больше силы, – а потом почувствовал, что стал более ловким, сноровистым и выносливым. Теперь он уже сознательно отдавал спорту все больше времени. Однажды в 1897 году вместе с друзьями он отправился на представление заезжего цирка антрепренера Бескоровайного. Огромное впечатление произвели на Поддубного выступления силачей. Он и сам решил попробовать: договорился с директором цирка, вышел на манеж и… не зная тонкостей атлетических приемов, оказался в хвосте участников соревнований. Но когда был объявлен чемпионат по борьбе «на поясах» (русско-швейцарская борьба), Иван вновь не устоял. У себя в деревне он всегда выходил победителем в борьбе «на кушаках» и на цирковой арене в течение двух недель одержал победу над всеми борцами, гастролирующими с этой труппой: Атосом, Козуляком, Разумовым, Семипапием и даже над знаменитым Георгом Лурихом, которого тушировал за две минуты. Ничьей закончилась лишь схватка с Урусом – гигантом Петром Янковским, сумевшим подметить, что боец-любитель не знает ни способов отражения атак, ни ответных приемов. Он просто брал силой и ловкостью. Но сезон закончился, и чемпиону пришлось вернуться к работе грузчика.
Радость успеха и спортивный азарт заставили Ивана взять расчет в порту. Его радушно приняли вначале в цирке Труцци, а затем в труппе братьев Никитиных. Поддубный выработал для себя программу тренировок и постепенно из неуклюжего и грубого силача превратился в настоящего атлета: уже в первом сезоне борец-профессионал не знал себе равных. К бывшему грузчику относились с почтением, положили хорошее жалованье, селили в лучших гостиницах и следили, чтобы «господин Поддубный» был всегда хорошо и со вкусом одет. А чтобы привлечь публику, выпустили плакат, на котором борец был представлен в черной папахе, синей черкеске с серебряными галунами и кинжалом. Ивану, чтобы соответствовать изображению, пришлось и усы отрастить, и такой костюм себе сшить.