Относительно Ганнибала Фабий занимал выжидательную позицию. Не вступая в открытый бой и не давая не приятелю возможности прямо напасть на него, он постоянно держался в горах, не выступал из своего лагеря до тех пор, пока неприятель не выходил из своего, и направлялся дальше, как только двигалось неприятельское войско, причем он постоянно держался в таком отдалении, что вовлечь его в битву, вопреки его желанию, было невозможно. Эта медлительность навлекла на него общее осуждение. В собственном его лагере воины роптали и негодовали; враги же, за исключением только самого Ганнибала, признавали его малодушным трусом. Ганнибал угадал стратегический план своего противника и употребил всю хитрость и силу для того, чтобы заставить его сразиться, так как при таком способе ведения войны боевые силы его представлялись бесполезными, и он предвидел, что со временем ресурсов его не хватит сравнительно с теми, которыми обладали римляне. Но не менее Ганнибала был недоволен образом действий Фабия Минуций, человек задорный и воинственный, вроде Фламиния, с каждым днем все более и более передававший войску свое собственное негодование. Своими хвастливыми воззваниями он вселил в солдатах безумную воинственную отвагу и безосновательные надежды до такой степени, что они в насмешку называли диктатора педагогом Ганнибала, так как он сопровождал карфагенского полководца повсюду, точно вверенного его попечению школьника. Напротив, Минуция войско считало военачальником, которого сама судьба избрала для спасения Рима. Минуций издевался над расположением лагеря Фабия в горах, откуда, по его словам, войско могло постоянно смотреть на опустошение Италии; спрашивал друзей диктатора, не хочет ли последний, отчаявшись найти спасение на земле, повести свою армию на небо, не старается ли он скрыться за облаками и туманом, чтобы спастись от неприятеля. Когда друзья Фабия передали ему слова Минуция и убеждали его спасти свою честь немедленным сражением, диктатор отвечал: «Поймите, что я оказался бы трусливее и малодушнее, чем считаюсь теперь, если бы, убоясь насмешек и клеветы, изменил своим правилам».
В Риме народ был также недоволен медлительностью Фабия; его прозвали Кунктатором – насмешливое прозвище, обратившееся впоследствии в почетный титул. Говорили, что он не кто иной, как школьный учитель, только обучающий своих воинов и не допускающий их до сражения. Многие уже заподозрили диктатора в измене, и Ганнибал старался поддержать это подозрение, пощадив при всеобщем опустошении одной местности в Кампании находившееся там поместье Фабия, и приставил даже стражу для его охраны. Сенат тоже был возмущен образом действий диктатора, особенно из-за договора, заключенного, им с Ганнибалом насчет пленных. Оба полководца условились обменять между собой пленных, человека за человека, и в случае если бы с одной стороны оказалось пленных больше, то уплатить по 250 драхм за каждого лишнего. Вышло так, что у Ганнибала оказалось на 240 пленных больше, чем у Фабия, и сенат отказался уплатить за них условленную выкупную сумму, сделав еще сверх того Фабию выговор, что он, в ущерб чести и выгодам государства, снова принял к себе людей, которые из-за собственной трусости попали в плен. Чтобы сдержать слово, Фабий продал через посредничество своего сына то же самое поместье в Кампании, которое пощадил Ганнибал, и вырученными деньгами выкупил вышеупомянутых пленных. Многие из этих последних хотели впоследствии возвратить Фабию заплаченные за них деньги, но он не взял ни у одного из них ни копейки.