Недовольство римлян росло. Дошло до открытых обвинений. Так, народный трибун Марк Метилий заявил перед согражданами: «Это невыносимо: диктатор мешает удачному ведению войны не только в своём присутствии, но и отсутствуя. Воюя, он старательно тянет время, чтобы подольше сохранять свою должность и только самому распоряжаться и в Риме, и в войске»
[Т. Liv., XXII, 25, 3–4]. К Фабию Максиму прочно прилипло прозвище «Cunctator» («Медлитель»), Пройдёт всего лишь несколько месяцев и прозвище «Кунктатор» обретёт для римлян совсем иной смысл, символизируя мудрость и осторожность Фабия. Но это будет после битвы при Каннах. А тогда, до той битвы, это прозвище звучало как насмешка.Переубедить народ Фабию не удалось. «Диктатор не выступал в народных собраниях: народ его не любил. Да и в сенате слушали не весьма благосклонно, когда он превозносил врага, объясняя поражения, понесённые за два года, глупым удальством начальников, и требовал от начальника конницы отчёта, почему он, вопреки приказу диктатора, начал сражение»
[Т. Liv, XXII, 25, 12–13].Упрёками в адрес Фабия дело не ограничилось. По предложению Марка Метилия, народное собрание Рима решило уравнять в правах диктатора и начальника конницы, Минуция, рвавшегося в бой. В сложившейся обстановке Фабию Максиму осталось лишь подчиниться. Римские войска были разделены наполовину, и выиграл от этого прежде всего Ганнибал.
Как пишет Тит Ливий, «Ганнибал радовался вдвойне — ведь ничто происходящее у противника от него не укрывалось: многое рассказывали перебежчики и свои разведчики; он намеревался по-своему использовать ничем не сдерживаемое удальство Минуция, а тут ещё от Фабия отобрана половина войска»
[Т. Liv., XXII, 28, 1–2].Очень скоро Ганнибал сумел этим воспользоваться. В первом же бою войска Минуция попали в заранее подготовленную засаду, и только своевременный приход им на помощь войск Фабия спас армию Минуция и его самого от полного поражения. Устыдившись своей неудачи, Минуций вновь вернул свои войска, вернее то, что от них осталось, под начало Фабия. Весть об этом несколько изменила и отношение к Фабию Максиму некоторых из римлян. Однако слова Тита Ливия о том, что после спасения им армии Минуция, «все стали, кто как умел, превозносить Максима до небес»
[Т. Liv., XXII, 30, 7], являются явным преувеличением. Во всяком случае, на следующий год Фабия Максима уже не выбрали ни диктатором, ни хотя бы одним из консулов.В том году, в 216 г. до н. э., римляне вновь сделали ставку на тех, кто желал решить войну в одном генеральном сражении. Особенно рвался в бой консул Теренций Варрон, утверждая, что «государству не стряхнуть войну со своей шеи, если полководцами будут Фабии, а он, Варрон, как увидит врага, так и закончит войну»
[Т. Liv., XXII, 38, 7]. Его коллега, консул Луций Эмилий Павел, был более сдержан и даже призывал повременить со сражением, но затем всё же уступил мнению Варрона.