Зиму 217/216 гг. до н. э. Ганнибал решил перезимовать в небольшом городке Гереонии, что в благодатной Апулии. Даже после казилинского «конфуза» Фабий не рисковал навязать «везунчику» Ганнибалу решительное сражение: он по-прежнему предпочитал следовать параллельно вражеской армии, как бы прикрывая Рим, но при этом придерживаясь возвышенностей. Не помешал он захвату врагом богатой хлебом Гереонии – удобнейшей базы для сытной зимовки целой армии. Череда «неудачных» событий подорвала репутацию Квинта Фабия, как
Очень многие – от рядового легионера до сената в Риме – хотели избавиться от кошмарного врага-опустошителя как можно быстрее или, как говорится, «еще вчера»!
В результате диктатору Фабию пришлось покинуть армию для поездки в Рим не только для участия в особо важных религиозных обрядах, но и держать ответ перед сенатом за непопулярную манеру ведения войны и, в частности, объяснить один из «громких казусов». Дело в том, что при обмене военнопленными между римлянами и карфагенянами Ганнибал с Фабием заключили соглашение, что обменивать будут человека за человека. Сторона, получившая больше возвратившихся из плена воинов по сравнению с другой, должна была внести выкуп по два с половиной фунта серебра за каждого. К римлянам должно было вернуться на 247 человек больше, чем к карфагенянам, однако сенат медлил с выделением денег. Тогда Фабий послал в Рим своего сына продать ту самую землю, которую не тронул Ганнибал, и на вырученные деньги выкупил оставшихся римских легионеров из плена. В Риме такой благородный поступок расценили как «проступок», а точнее вызов сенату и всему государству и решили призвать диктатора к ответу.
Фабия еще не отстранили от должности, но уже дали понять, что «ничто не вечно в этом лучшем из миров»!