Вспоминал Тургенев о своих предках Лутовиновых, когда писал «Записки охотника», когда работал над рассказом «Два помещика». Мардарий Аполлонович Стегунов, дворянин старого патриархального покроя, попивал на веранде чаек и, прислушиваясь к ударам розог на конюшне, добродушно приговаривал в такт: «Чюки-чюки-чюк! Чюки-чюк! Чюки-чюк!» А спустя четверть часа после этой экзекуции потерпевший буфетчик Василий так отзывался о своем барине: «А поделом, батюшка, поделом. У нас по пустякам не наказывают; такого заведенья у нас нету — ни, ни. У нас барин не такой; у нас барин... такого барина в целой губернии не сыщешь».
Часто всматривался Тургенев в портрет Ивана Ивановича в спасской фамильной галерее: бледно-русые волосы, высокий открытый лоб с глубокой волевой морщиной между бровей, а в углах рта — две складки, придающие лицу и надменное, и какое-то нервное выражение. Сразу виден характер — энергичный и жесткий. Художник изобразил его сидящим за столом, с рукою, положенною на счеты.
Всю жизнь он подчинил накопительству и обогащению. Используя высокое положение в кругах мелкого провинциального дворянства, Иван Иванович правдами и неправдами расширял границы своих владений, а под старость лет вообще превратился в Скупого рыцаря. Особое пристрастие питал он к жемчугу, который складывал в специально сшитые мешочки. Случалось, что он брал вещь втридорога, заметив в ней жемчужные зерна, и, вынув дорогие жемчужины, возвращал ее владельцу. Ивана Ивановича Лутовинова имел в виду Тургенев в повести «Три портрета», где старик-скупец пересчитывает палочкой кульки с деньгами.
Скопидомство и жестокость уживались в нем с довольно широкой образованностью и начитанностью. Из Пажеского корпуса Иван Иванович вынес знание французского и латинского языков, в Спасском он собрал великолепную библиотеку из сочинений русских и французских классиков XVIII века. Вряд ли предполагал суровый старик, кому послужат верой и правдой именно эти, подлинные его сокровища.
И хоть восхищалась старая крестьянская Русь энергией и силой, размашистой предприимчивостью своего барина, недобрую славу оставил он о себе в народе. Все легенды об основателе спасской усадьбы неизменно окрашивались в какие-то жутковатые тона. Погребен был Иван Иванович в фамильном склепе под часовней, им самим сооруженной при въезде в усадьбу, в углу старого кладбища. С этой часовней и расположенным невдалеке от нее Варнавицким оврагом связывали крестьяне страшное поверье. Два эти места считались в народе нечистыми: неспокойно лежалось усопшему барину в каменном склепе, мучила совесть, давила могила. Говорили, что по ночам выходит он из часовни и бродит по зарослям глухого Варнавицкого оврага и по плотине пруда в поисках разрыв-травы. Из поколения в поколение передавалась эта легенда, и не случайно звучит она в устах крестьянских ребят из «Бежина луга». Да и сам Тургенев еще мальчиком обегал это проклятое народом место, а в 1881 году говорил гостившему у него в Спасском Я. П. Полонскому: «Ни за что бы я не желал быть похороненным на нашем спасском кладбище, в родовом нашем склепе. Раз я там был и никогда не забуду того страшного впечатления, которое оттуда вынес...»
Другим проклятым урочищем считались остатки старой лутовиновской усадьбы на Ивановском поле: канавы, служившие оградой барского дома, сада и парка, пересохший пруд, затянутый илом и поросший болотной осокой, три одинокие ели из бывшего сада, росшие близко одна от другой, в двадцати метрах от пруда, стройные и такие высокие, что вершины были видны на горизонте чуть ли не за 60 верст от Ивановского. Старожилы утверждали, что эти ели посажены при основании усадьбы и в ясную погоду их можно рассмотреть даже из Орла. Не все по силам оказалось и Ивану Ивановичу: выкопать с корнем эти вековые деревья и перевезти в спасскую усадьбу он не смог. В 1847 году одна ель упала во время бури на вал канавы так, что вершина ее осталась над землей и служила забавными качелями для крестьянских ребят, пока однажды ель не скатилась и не захлестнула вершиной мальчика и девочку.
С этими елями тоже связано было страшное предание. Рассказывали, что жил некогда по соседству в сельце Губарево бедный помещик и служил главным управляющим спасской вотчиной у богатых Лутовиновых. Часто он наказывал кнутом и розгами спасских крестьянок. Наконец одна из них не выдержала, подстерегла жестокого управляющего при выезде из Чаплыгина леса и убила толкачом в голову. Хватились господа, стали искать, да так и не нашли и не узнали, куда исчез их верный слуга. А крестьянка закопала его у Ивановского пруда под тремя елями.