Получив со Спинолы долг, Казанова потребовал свою долю, но в ответ услышал лишь невнятное бормотание о каких-то процентах. Казанова напомнил, что речь шла о наличных деньгах, граф принялся оскорблять его, началась ссора. Присутствовавший при ней Гримани принял сторону офицера, и обиженный Казанова удалился, хлопнув дверью. Вскоре весь город обсуждал случившееся. Все считали Казанову низким трусом, позволившим Карлетти безнаказанно оскорбить себя. Подобный позор можно было смыть только кровью, вызвав обидчика на дуэль. Однако, не сделав это сразу, Казанова опоздал: Карлетти уже покинул Венецию. Не имея возможности защитить свою честь в поединке, Казанова взялся за перо, и через несколько дней в городе стали продавать памфлет под названием «Ни любви, ни женщин, или Очищенные конюшни». Действующими лицами памфлета были мифологические персонажи, в образах, словах и поступках которых легко угадывались действующие лица скандала, случившегося в доме Гримани. Однако автор не ограничился одним происшествием, он разразился гневной филиппикой против злоупотреблений, допускаемых некоторыми аристократами. Но самое страшное оскорбление своим памфлетом Казанова нанес семейству Гримани, утверждая (разумеется, в аллегорической форме), что он является сыном законной жены Микеле Гримани, и Себастьяна Джустиньяни, а вовсе не Дзанетты Фарусси и Микеле Гримани. Эти рассуждения вызвали настоящую бурю, ибо Казанова не только утверждал свое родство с Гримани, но и требовал причитавшуюся, по его мнению, ему долю их богатств. Брошюра шла нарасхват, и пока цензоры принимали решение конфисковать тираж, он успел разойтись. Гримани молчаливо снес оскорбление, только отказал Авантюристу от дома, то же самое сделали его друзья и знакомые. Казанова понял, что он перестарался. Он попытался было отступить назад, но было поздно. Прокуратор Республики настойчиво посоветовал ему поскорее оставить Венецию. Казанова моментально собрал свои нехитрые пожитки и бежал в Триест.
Оттуда он написал прокуратору Морозини, где признавал свое заблуждение и упрекал Гримани в том, что тот закрыл перед ним двери, не дав ему возможность оправдаться. «Мне пятьдесят восемь лет, — писал он, — и мне трудно ходить пешком, особенно когда зима не за горами; думая о том, что мне вновь предстоит скитаться по градам и весям, я гляжу на себя в зеркало и смеюсь: нет, вернуться к былому я уже не могу».
Через месяц он вернулся, написал несколько пустых докладов для инквизиторов, собрал свои вещи, попрощался с Франческой и покинул город. Внутренний голос говорил ему, что это навсегда. «То ли я не создан для Венеции, то ли Венеция не создана для меня, или же мы оба не созданы друг для друга», — написал Казанова. Это случилось в январе 1783 года. Почти девять лет провел он на родине, и теперь он покидал ее — усталый, разочарованный и не питающий никаких надежд. Друзья и знакомые от него отвернулись, ему осталась верна одна Франческа.
Казанова уехал в Вену, где несколько месяцев прожил за счет приятелей, посещая званые обеды, завтраки и ужины.
Затаив неприязнь к изгнавшим его властям, Казанова, пользуясь своей известностью предсказателя, решил им отомстить. Спустя несколько недель после его отъезда инквизиторы получили анонимное письмо, в котором утверждалось, что 25-го числа текущего месяца в Венеции начнется землетрясение, оно разрушит город до основания. Письмо посеяло панику, многие патриции стали срочно покидать город, особенно когда узнавали, что автором письма являлся некий Казанова, ухитрившийся вложить свое послание в дипломатическую почту. Оракул Казановы был известен многим, и его предсказания в основном сбывались. К счастью, не на этот раз.
И вновь Казанова вынужден странствовать. Во Франкфурте он познакомился со знатной и богатой англичанкой, которая предложила ему сопровождать ее в Амстердам. У англичанки была одна странность: она желала говорить только на латыни, а Казанова прекрасно знал этот язык. Но однажды, когда они почти добрались до цели, после одной из трапез Казанова заявил своей спутнице: «Я покидаю вас, сударыня, дабы отправиться туда, куда призывает меня мой каприз. Удержать меня невозможно». Что произошло между ними и кем была эта загадочная англичанка — неизвестно. Она оставила Казанове двадцать пять гиней, что в его положении было весьма кстати. В одном из писем, намекая на этот таинственный эпизод из его жизни, Казанова написал: «Возможно, когда-нибудь станет известно, предвестницей каких великих событий она была». Другой намек был еще загадочнее: «Не стану рассказывать, кто была эта англичанка, но поведаю вам, отчего я отказался ехать на Мадагаскар». Иными словами, покинув Венецию, Казанова преисполнился всевозможных планов, в том числе самых невероятных. Но иметь дело с дамами