На следующий день за обедом гость в основном молчал, но затем Вольтер стал вовлекать его в разговор о венецианском правлении, видимо, полагая, что у бывшего узника Пьомби есть немало причин быть им недовольным. Однако охваченный духом противоречия, Казанова активно выступил в защиту правителей Венеции и даже признал справедливость собственного заключения, так как, по его словам, он сам «злоупотреблял» свободой. Обычно, когда разговор касался его пребывания в тюрьме, он, пользуясь случаем, исполнял свой коронный номер — рассказ о побеге из Пьомби. Но тут он то ли не счел собравшееся у Вольтера общества достойным его любимой истории, то ли испугался, что «вольтерова клика» и в этом рассказе найдет над чем посмеяться, и рассказывать о побеге не стал — даже тогда, когда его об этом попросила госпожа Дени. «Ведь согласитесь, чтобы быть свободным, вполне достаточно чувствовать себя таковым, не правда ли?» — завершил он свой панегирик аристократическому правлению. Тогда, сменив тему, Вольтер заговорил об итальянской литературе или, говоря словами Казановы, «стал нести околесицу» и делать «вздорные выводы». Очевидно, вспоминая об этих днях, Соблазнитель снова приходил в дурное расположение духа. Тем не менее в «Мемуарах» его есть строки, где он отдает должное французскому философу: «Жил он, ничего не скажешь, на широкую ногу, только у него одного хорошо и кормили. Было ему тогда шестьдесят шесть лет и имел он сто двадцать тысяч ливров дохода. Неправы те, кто уверял и уверяет, будто он разбогател, надувая книгопродавцев. Напротив, книгопродавцы вечно обманывали его…»
Вполне дружественно происходили и беседы хозяина и гостя один на один. Но едва лишь Вольтер обращался к Казанове в присутствии общества, состоявшего из восторженных поклонников философа, как итальянец тотчас замыкался в себе и старательно опровергал все, о чем бы ему ни говорили, будь то литература, политика или нравы. Разговоры эти, более напоминающие перепалку, в которой каждая из сторон претендовала на истину в последней инстанции, воспроизводятся Казановой в его «Мемуарах». В записях Вольтера подобных свидетельств нет, более того, после тщательных поисков было обнаружено всего два косвенных упоминания о том, что знаменитый Авантюрист («странная личность», как называет его Вольтер в письме от 7 июля, то есть спустя два дня после отъезда Казановы из его дома) посетил философа во время его проживания в Делисе. На этом основании ряд исследователей приходят к мысли, что встреча эта (полностью или отчасти) является плодом фантазии Казановы, а рассуждения, приписываемые им Вольтеру, он извлек из вольтерова «Философского словаря». К примеру, приведенный ниже диалог из «Мемуаров» Казанова вполне мог как восстановить по памяти, так и придумать, вложив в уста Вольтера мысли из его сочинений: