Но главные усилия были направлены на организацию новой боеспособной армии. Из тех, кому удалось спастись с поля битвы и собраться в городе Канузии, были заново сформированы два легиона. Правда, в наказание за поражение и трусость их осудили на бесплатную службу, запретили воевать в Италии и отправили позже в Сицилию. Для набора новых легионов был назначен диктатор. К оружию были призваны семнадцати– и даже шестнадцатилетние юноши. Сенат принял решение сформировать два легиона из числа рабов. Их выкупили за государственный счет у хозяев и обещали за службу свободу и гражданские права. Из выпущенных из тюрем преступников и должников набрали еще 6 тысяч воинов. Для вооружения всех этих солдат использовали трофейное оружие, хранившееся в храмах в качестве посвящений богам. Чтобы внушить и гражданам и союзникам мысль о том, что спасение только в победе, сенат отверг предложение Ганнибала о выкупе пленных. Карфагенским послам было заявлено, что римскому государству не нужны солдаты, сдавшиеся на милость врага, и что Рим не станет обсуждать условия мира, пока иноземные солдаты находятся на италийской земле. Рассказывают, что, получив такой ответ, Ганнибал пришел в неописуемую ярость, приказал перебить пленных римлян, запрудить их телами реку и по этому мосту переправил свое войско, а самых знатных пленников заставил сражаться на потеху карфагенян – братьев с братьями и отцов с сыновьями.
Непреклонность римлян подействовала на многих их старых союзников в средней и северной Италии. Они не отпали от Рима и готовы были поддерживать его. Восстановленная чрезвычайными мерами римская армия вновь представляла собой грозную силу. Получилось так, что Ганнибал не смог воспользоваться плодами своей великой победы и продиктовать свою волю римлянам.
Страшный опыт сокрушительных поражений многому научил римлян. Они поняли правоту Фабия-Медлителя и перешли к выжидательной тактике. Теперь римские военачальники избегали крупных сражений, мешали Ганнибалу получать подкрепления и продовольствие, старались измотать его непрерывными мелкими стычками. Военные действия в Италии приняли затяжной характер. Римляне осаждали и возвращали к покорности отложившиеся от них города, защищали свои колонии и союзные общины. Во главе римской армии стояли многоопытный Фабий Максим и Марк Клавдий Марцелл, отличавшийся и дарованиями полководца, и личной храбростью. Их называли «щитом» и «мечом» Италии. Марцелл был первым и единственным римским консулом, который в одной из битв сбил с лошади главнокомандующего неприятельской армии. Именно Марцелл нанес в 215 г. до н. э. первый чувствительный удар самому Ганнибалу, совершив успешную вылазку против карфагенян, осаждавших Нолу.
Ганнибал все больше и больше вынужден был переходить к оборонительной войне. Его армия теряла людей. Ее дисциплина и боевой дух приходили в упадок. Постепенному разложению карфагенского войска способствовала зимовка в богатой Капуе.
Главная проблема Ганнибала была в отсутствии резервов. Римляне это прекрасно понимали и поэтому не отзывали свои войска, действовавшие в Испании и Сицилии. Командовавшие войсками в Испании братья Публий и Гней Сципионы вскоре после битвы при Каннах добились крупного успеха. Они перешли Ибер и в ожесточенном сражении разбили Гасдрубала, который по приказу карфагенского правительства направлялся в Италию для соединения с армией своего брата Ганнибала. В этом сражении карфагеняне потеряли 25 тысяч человек убитыми и 10 тысяч пленными. Сам Гасдрубал едва спасся. В последующие годы Сципионы продолжали развивать свой успех.