Папа тем временем двинулся на Флоренцию войной, и друзья уговорили Бенвенуто покинуть город, дабы не ссориться с его святейшеством. Поначалу все шло прекрасно, и Бенвенуто была дарована должность булавоносца, приносившая двести скудо в год. Но когда он попросил должность в семьсот скудо, вмешались завистники, особенно же усердствовал миланец Помпео, пытавшийся перебить у Бенвенуто заказанную папой чашу. Враги подсунули папе никудышного ювелира Тоббию, и тому было поручено готовить подарок для французского короля. Однажды Бенвенуто ненароком зашиб своего приятеля, а Помпео тут же побежал к папе с известием, будто убит Тоббия. Разгневанный пала распорядился схватить и повесить Бенвенуто, так что пришлось скрываться в Неаполе, пока все не разъяснилось. Климент раскаялся в своей несправедливости, но все равно занемог и вскоре умер, а папой избрали кардинала Фарнезе. Бенвенуто совершенно случайно встретился с Помпео, которого вовсе не хотел убивать, но так уж получилось. Клеветники пытались натравить на него нового папу, но тот сказал, что подобные художники, единственные в своем роде, суду законов не подлежат. Впрочем, Бенвенуто счел за лучшее на время удалиться во Флоренцию, где герцог Лессандро его никак не хотел отпускать, угрожая даже смертью, — однако сам пал жертвой убийцы, а новым герцогом стал Козимо, сын великого Джованни де Медичи. Вернувшись в Рим, Бенвенуто обнаружил, что завистники добились своего — папа, хоть и даровал ему помилование за убийство Помпео, сердцем от него отвратился. Между тем Бенвенуто был уже так прославлен, что его позвал к себе на службу французский король.
Вместе с верными учениками Бенвенуто отправился в Париж, где получил аудиенцию у монарха. Тем, однако, дело и кончилось: злокозненность врагов и военные действия сделали пребывание во Франции невозможным. Бенвенуто вернулся в Рим и получил множество заказов. Ему пришлось прогнать за безделье одного работника родом из Перуджи, и тот задумал отомстить: нашептал папе, будто бы Бенвенуто похитил драгоценные камни во время осады замка Святого Ангела и имеет теперь состояние в восемьдесят тысяч дукатов. Жадность Паголо да Фарнезе и его сына Пьера Луиджи не знала границ: они приказали заточить Бенвенуто в темницу, а когда обвинение рассыпалось, задумали его непременно уморить. Король Франциск, узнав об этой несправедливости, стал хлопотать через кардинала феррарского, чтобы Бенвенуто отпустили к нему на службу. Кастеллан замка, человек благородный и добрый, отнесся к узнику с величайшим участием: дал возможность свободно гулять по замку и заниматься любимым искусством. В каземате содержался один монах. Воспользовавшись оплошностью Бенвенуто, он выкрал у него воск, чтобы изготовить ключи и сбежать. Бенвенуто клялся всеми святыми, что не повинен в злокозненности монаха, но кастеллан так озлился, что почти потерял рассудок. Бенвенуто стал готовиться к побегу и, устроив все наилучшим образом, спустился вниз на сплетенной из простыней веревке. К несчастью, стена вокруг замка оказалась слишком высокой, и он, сорвавшись, сломал себе ногу. Вдова герцога Лессандро, помня его великие труды, согласилась дать ему приют, но коварные враги не отступились и вновь препроводили Бенвенуто в узилище, невзирая на обещание папы пощадить его. Кастеллан, совершенно свихнувшись, подверг его таким неслыханным мукам, что он уже прощался с жизнью, но тут кардинал феррарский добился от папы согласия освободить безвинно осужденного. В темнице Бенвенуто написал поэму о своих страданиях — этим «капитоло» и завершается первая книга мемуаров.
Во второй книге Бенвенуто рассказывает о своем пребывании при дворе Франциска I и флорентийского герцога Козимо. Отдохнув немного после тягостей заключения, Бенвенуто поехал к кардиналу феррарскому, взяв с собой любимых учеников — Асканио, Паголо-римлянина и Паголо-флорентийца. По дороге один почтовый смотритель вздумал затеять ссору, и Бенвенуто лишь для острастки наставил на него пищаль, но отскочившая рикошетом пуля убила наглеца на месте, а его сыновья, пытаясь отомстить, слегка ранили Паголо-римлянина. Узнав об этом, кардинал феррарский возблагодарил небеса, ибо обещал французскому королю непременно привезти Бенвенуто. В Париж они добрались без приключений.