С наступлением дня между оставшимися на холмах карфагенскими копейщиками и римлянами начался бой, итог которого явно клонился в пользу последних, пока Ганнибал не выслал на подмогу своим отряд иберов. Привычные к горной местности, они спасли положение и, по-видимому, нанесли римлянам серьезные потери, которые, впрочем, наши основные авторы оценивают очень по-разному: Полибий говорит о приблизительно тысяче человек, а Ливий лишь о нескольких погибших; потери самих иберов были минимальными (Полибий, III, 94, 5–6; Ливий, XXII, 18, 1–4). Оказавшись в Самнии, Ганнибал сделал ложный маневр в направлении Рима, но потом вторгся в область пелигнов, откуда пошел в Апулию (Ливий, XXII, 18, 6–7).
Фабий Максим не изменил своей стратегии даже после позора карфагенского прорыва. Он по-прежнему не атаковал противника, а шел параллельно ему, придерживаясь возвышенностей и прикрывая Рим. Не помешал он и взятию Ганнибалом апулийского города Гереоний (у Полибия Геруний). Богатый хлебом, он привлек Пунийца в качестве удобной базы для зимовки. На его предложение союза горожане ответили отказом, после чего город был взят штурмом, а все его жители перебиты. Свой лагерь Ганнибал устроил под городскими стенами, оградив рвом и валом. Армию он поделил надвое: две трети рассеялись по окрестностям в поисках фуража, а оставшаяся часть защищала их и охраняла лагерь.
События последнего времени основательно подорвали репутацию Фабия Максима. Его действия – или, как казалось большинству, бездействие – лишали армию верного шанса победить и избавить, наконец, страну от кошмара иностранного вторжения. Недовольство диктатором усилилось не только среди его же воинов, но и в Риме. Ганнибал тоже постарался дискредитировать своего противника: когда на пути его войск попалась вилла Фабия, он приказал оставить ее в неприкосновенности, в то время как все вокруг было предано огню (Ливий, XXII, 23, 4). Для многих в Риме это послужило лишним доказательством измены диктатора.
И вот, по прошествии всего нескольких дней Фабий фактически лишился своего поста. Его не отстраняли от должности, а попросту удаляли из армии под благовидным предлогом – оказалось, что ему необходимо совершить в Риме некоторые важные жертвоприношения. Фабию ничего не оставалось, кроме как покинуть армию, передав руководство ею начальнику конницы Марку Минуцию. Зная настроение своего заместителя, Фабий и просил, и умолял его не нарываться на сражение, а заботиться прежде всего о сохранении собственных сил. Он старался убедить Минуция, что прошедшее лето принесло пользу, так как римляне почувствовали уверенность, а пунийцы не одержали ни одной крупной победы, что уже можно считать достижением. Наверное, он и сам хорошо понимал всю бесполезность своих уговоров, да и истинные причины вызова в Рим не могли быть для него секретом: когда он принимал армию, его обязанности по проведению религиозных обрядов взял на себя претор Марк Эмилий (Ливий, XXII, 9, 11), а теперь его личное присутствие на жертвоприношениях посчитали более важным. Как только он уехал, Марк Минуций стал искать возможность разбить основные силы карфагенян в решающей битве (Полибий, III, 94, 8–10; Ливий, XXII, 18, 8–10).
Приняв единоличное командование армией, Минуций повел ее за карфагенянами. Сперва он, как и Фабий до него, придерживался гористой местности, но, когда был захвачен Гереоний, спустился на равнину и устроил лагерь на одном из холмов, где находилась крепость Калена. Ганнибал, зная о подходе римлян, перенес свой лагерь на пару километров от города и тоже расположил его на холме. Теперь он мог надежнее защитить фуражиров, которые продолжали рыскать по окрестностям, по крайней мере, такое объяснение его маневру дает Ливий, в чем он, скорее всего, прав лишь отчасти (Ливий, XXII, 24, 5). Как видится из дальнейших событий, план пунийского полководца был глубже.