А.А. Стахович, современник Толстого, записал такую историю: «Толстой был дружен с одним известным поэтом, лихим кутилой и остроумным человеком, остроты которого бывали чересчур колки и язвительны. Раз на одной холостой пирушке один молодой человек не вынес его насмешек и вызвал остряка на дуэль. Озадаченный и отчасти сконфуженный, поэт передал об этом “неожиданном пассаже” своему другу Толстому, который в соседней комнате метал банк. Толстой передал кому-то метать банк, пошёл в другую комнату и, не говоря ни слова, дал пощечину молодому человеку, вызвавшему на дуэль его друга. Решено было драться тотчас же; выбрали секундантов, сели на тройки, привёзшие цыган, и поскакали за город. Через час Толстой, убив своего противника, вернулся и, шепнув своему другу, что стрелять ему не придётся, спокойно продолжал метать банк».
Писательница М.Ф. Каменская, двоюродная племянница Толстого, рассказывала о своём дяде: «Убитых им на дуэлях он насчитывал одиннадцать человек. Он аккуратно записывал имена убитых в свой синодик. У него было 12 человек детей, которые все умерли во младенчестве, кроме двух дочерей. По мере того, как умирали дети, он вычёркивал из своего синодика по одному имени из убитых им людей и ставил сбоку слово “квит”. Когда же у него умер одиннадцатый ребенок, прелестная умная девочка, он вычеркнул последнее имя убитого им и сказал: “Ну, слава Богу, хоть мой курчавый цыганёночек будет жив”. Этот цыганёночек была Прасковья Фёдоровна, впоследствии жена В.С. Перфильева, московского губернатора». Между прочим, замечает по этому поводу автор исследования о русской дуэли Владислав Петров (