Петрарка считал, что подвергает себя опасности, столь открыто выступая на стороне римского трибуна, однако оказалось, что гораздо более опасным является его старое знакомство с Вергилием. Петрарка не считался с эпохой, которую намного опередил, и не предполагал, что очень многие люди знают Вергилия лишь по роману "Необыкновенные похождения Вергилия, сына рыцаря из Арденн" да по ярмарочной болтовне о его магических проделках. Правда, до ушей Петрарки дошло, что его самого называют новым Вильгардо. Предание гласило, будто грамматик из Равенны Вильгардо в 1000 году увидел во сне трех демонов: один из них назвался Вергилием, другой Горацием, третий Ювеналом, и все трое благодарили его за почести и благоволение, которыми он их окружил. После этого сна Вильгардо стал провозглашать речи против веры, утверждая, что настоящая истина только та, которую провозглашают поэты. Похоже было, что некоторые члены кардинальской коллегии готовы видеть в Петрарке ученика чернокнижника, поэт только забавлялся этим в беседе с отдельными кардиналами, которые, подобно Талейрану, высмеивали невежество своих отсталых коллег.
Однако дело приобрело серьезный оборот, когда к этим нелепым наговорам стал прислушиваться новый папа, Иннокентий VI. Несомненно, свою лепту внесли и врачи, которым Петрарка немало досадил. Недруги зашептали: "Почему это он уединяется в Воклюзе и чем он там занимается по ночам? Сквозь щели в ставнях его комнаты виден свет, который гаснет только на рассвете. Он не расстается с Вергилием. Все понятно: он занимается магией и чернокнижием".
Петрарка сперва только смеялся над этим, потом удивлялся, а затем начал волноваться. Что может быть страшнее абсолютной глупости? Поэт впал в отчаяние. Он чувствовал себя всеми покинутым, никому не доверял. Писал письма влиятельным друзьям, уверяя их в своей верности, в которой никто из них не сомневался. Такой уж у него был характер: даже малейшая тучка была способна окутать всю его жизнь мраком. Мысленно представлял он себя лишенным заслуг, славы, признания. "Я чужак, - взывал он, - и бродяга на земле, как все мои отцы. Я изгнанник, я испуганный скиталец". Он видел себя валяющимся в придорожной канаве, без крова над головой, без близкой души.
И поэт решил бежать. Собрал, что было в доме наиболее ценного, и крадучись выскользнул из своей Уединенной Долины. Буря и ливень вернули его с дороги. Но решения своего он не изменил и в мае 1353 года навсегда покинул Авиньон и Воклюз. По пути он посетил монастырь брата Джерардо - это была последняя их встреча. Через несколько месяцев после отъезда Петрарки неизвестные злоумышленники ворвались в его обитель, украли, что смогли и подожгли дом. Верного управляющего, Раймона Моне, тогда уже не было в живых, а без него дом в Воклюзе был обречен. К счастью, уцелело величайшее сокровище - книги, спрятанные в гроте, где никто не догадался их искать. Так были сожжены все мосты, по которым Петрарка мог вернуться в Авиньон.
По пути через Альпы, увидев Италию, он создал одну из прекраснейших своих латинских песен: