Таким он и остался в петербургском городском фольклоре – мудрым и остроумным «Дедушкой Крыловым», к его известной лености, некоторой неопрятности и неумеренному аппетиту друзья относились со снисходительной терпимостью.
В 1855 году Крылову отлили памятник по модели П.К. Клодта. Споры о месте его установки долгое время занимали весь литературный и художественный Петербург. Одни предлагали установить памятник в сквере перед зданием Публичной библиотеки, где долгое время служил Иван Андреевич. Другие – на Васильевском острове у здания Университета, почетным членом которого он был с 1829 года. Третьи – на могиле в Некрополе мастеров искусств, где в 1844 году его похоронили. Выбор, однако, пал на Летний сад. Причем городское предание утверждает, что место установки памятника определено самим баснописцем еще при жизни. Легенду эту записал П.А. Вяземский, и вот как она выглядит:
«Крылов сидел однажды на лавочке в Летнем саду. Вдруг… его. Он в карман, а бумаги нет. Есть где укрыться, а нет чем… На его счастье, видит он в аллее приближающегося к нему графа Хвостова. Крылов к нему кидается: „Здравствуйте, граф. Нет ли у вас чего новенького?“ – „Есть: вот сейчас прислали мне из типографии вновь отпечатанное мое стихотворение“, – и дает ему листок. „Не скупитесь, граф, и дайте мне 2–3 экземпляра“. Обрадованный такой неожиданной жадностью, Хвостов исполняет его просьбу, и Крылов со своею добычею спешит за своим „делом“». И следовательно, местонахождение памятника, добавляет предание, «было определено „деловым“ интересом Крылова».
В пушкинском Петербурге граф Хвостов – личность известная. Член Российской академии и активный участник заседаний общества «Беседы любителей русского слова», сенатор и действительный тайный советник, граф Дмитрий Иванович являлся притчей во языцех всего Петербурга. Его якобы потомственное графство на самом деле – мнимое и являлось просто «выдумкой» А.В. Суворова, который был Дмитрию Ивановичу родственником и покровительствовал ему. Он «выпросил» титул для Хвостова у сардинского короля.
При всем при этом граф Хвостов был еще и известным графоманом, над которым потешался весь читающий Петербург. Он писал торжественные оды и неуклюжие эпиграммы, басни на случаи и события и послания к многочисленным друзьям и знакомым. Случайных встреч с ним искренне боялись, а бывая в районе Сергиевской улицы (ныне улица Чайковского), где одно время проживал Хвостов, торопливо оглядывались по сторонам, нет ли поблизости знаменитой голубой кареты графа.