Как раз в это время Илья учился в платной гимназии Поливанова на Пречистенке, куда не раз приходил и Толстой. Поначалу он хотел устроить сына в казенную гимназию, чему воспрепятствовал отказ писателя дать подписку о благонадежности сына-подростка: «Как я могу ручаться за поведение другого человека, хотя бы и родного сына?». Каменотес Сютаев стал для Ильи одним из впечатлений городской жизни, наряду с игрой в бабки и беготней за девочками. Внимать проповедям Сютаева собиралось у Толстых немало умного народу: «Сютаев не только возбуждал их любопытство, но и производил на них сильное впечатление. При чуждых ему людях, “господах”, в барской обстановке, он нисколько не стеснялся, вел себя с большим достоинством и говорил, что думал», – а это уже воспоминания другого сына, Сергея, студента Московского университета. На сыновей писателя каменотес-проповедник, вероятно, оказывал меньшее воздействие, нежели на отца, поражавшегося его «простым» и «правильным» словам.
За Сютаевым следили, как только московский обер-полицмейстер доложил Долгорукову о его появлении у Толстых, генерал-губернатор послал в Денежный переулок «элегантного жандармского ротмистра с поручением выведать у Льва Николаевича, какую роль играет в его доме Сютаев, каковы его убеждения и долго ли он пробудет в Москве. Я не забуду, как отец принял этого жандарма в своем кабинете, потому что я никогда не думал, чтобы он мог до такой степени рассердиться. Не подавая ему руки и не попросив его сесть, отец говорил с ним стоя. Выслушав просьбу, он сухо сказал, что он не считает себя обязанным отвечать на эти вопросы. Когда ротмистр начал что-то возражать, папа побледнел как полотно и, показывая ему на дверь, сдавленным голосом сказал: “Уходите, ради бога, уходите отсюда поскорей, – я вас прошу уйти”, – крикнул он, уже не сдерживаясь, и, еле дав растерявшемуся жандарму выйти, он изо всех сил прихлопнул за ним дверь. После он раскаивался в своей горячности, очень жалел, что не сдержался и поступил грубо с человеком, но все-таки, когда не унявшийся генерал-губернатор прислал к нему через несколько дней опять за тем же своего чиновника Истомина, он никаких объяснений ему не дал, сказавши коротко, что если Владимиру Андреевичу хочется его видеть, то никто не мешает ему приехать к нему самому», – запомнил Илья Толстой.
Стычка с пристыженным Толстым ротмистром, а через него и с Долгоруковым, крепко врезалась в память домашних. Генерал-губернатор к Льву Николаевичу не приехал. К счастью, вскоре Сютаев покинул гостеприимный дом Толстых, а на вопрос одного из своих адресатов в феврале 1884 года, жив ли он, писатель ответил: «Жив. Я не могу видеть его. Велено меня не пускать к нему, а его ко мне».
В октябре 1883 года Долгоруков был вынужден запретить выступление Толстого в Обществе любителей российской словесности в память о Тургеневе. Председатель общества С.А. Юрьев обратился к писателю с просьбой выступить на заседании общества: «Когда Тургенев умер, я хотел прочесть о нем лекцию. Мне хотелось, особенно ввиду бывших между нами недоразумений, вспомнить и рассказать все то хорошее, чего в нем было так много и что я любил в нем. Лекция эта не состоялась. Ее не разрешил Долгоруков».
Причиной запрета стало указание из столицы. Главное управление по делам печати и министерство внутренних дел слишком опасалось выступления Толстого. Начальник Главного управления по делам печати Е.М. Феоктистов сигнализировал министру внутренних дел Д.А. Толстому: «Толстой – человек сумасшедший, от него следует всего ожидать; он может наговорить невероятные вещи – и скандал будет значительный». В итоге министр «предупредил» московского генерал-губернатора о необходимости цензурного контроля над всеми выступлениями на этом заседании. Вряд ли это поручение было для Долгорукова приятным, он постарался максимально деликатно решить этот вопрос, велев «под благовидным предлогом» объявить заседание «отложенным на неопределенное время».
Софья Андреевна писала сестре Кузминской 29 октября 1883 года: «Левочка для речи ничего не написал, хотел только говорить, вероятно, накануне набросал бы, но так как запретили, то так и не написалось и не сказалось. О Каткове он упомянул бы, но в смысле, что не все мыслящие и пишущие люди свободны от подслуживания властям и правительству, а что Тургенев был вполне свободный и независимый человек и служил только делу (cause), а дело его была литература; мысль свободная и слово свободное, откуда бы оно ни шло».