Но главные заботы были связаны с запиской Юрия Самарина. Его имя часто повторялось в светском и литературном мире. Записка была написана талантливо, просто блестяще. Конечно, в записке была высказана надежда на полную свободу слова, свободу печати. Все ее основные положения были по душе Дмитрию Милютину, который в разговоре с братом Николаем давно начал обсуждение этих злободневных вопросов. «Как же правительство относится к этому вопросу? Чего оно хочет? Запереться вместе с помещиками в крепостном праве, как в осажденном городе, держаться в нем до последней возможности и, по мере усиления натиска, изобретать новые оборонительные средства, снабжать защитников новым оружием или, приучив их заранее к мысли, что на настоящей позиции нельзя удержаться, проложить из нее верный исход, прежде чем она будет занята с бою?» – эти вопросы ставили читателя сразу перед острейшими вопросами времени. Об этом писали и говорили друзья Милютина, Кавелин и князь Черкасский. Систему инвентарей должна составлять не добровольная сделка между помещиком и крепостным между собой, в этом нужно участвовать государственной власти. «Во избежание всякого недоразумения, – писал Самарин, – мы откровенно прибавим, что если бы Провидению угодно было казнить Россию, поразив наше правительство неисцельным ослеплением, а наше дворянство безнадежным упрямством, и если бы затем нам предстояло одно из двух: оставить неприкосновенным право или ввести повсеместно инвентари, то из двух зол, избирая меньшее, мы не задумываясь предпочли бы последнее». Но вопрос о крепостном праве остро стоит перед обществом, читал в записке Милютин. Помещик продолжает действовать по своему произволу, народ, проклиная эту власть, вынужден покоряться помещику, а эта покорность безнравственна и унижает человека. А потому человек предстает односторонним. «Оттого крестьяне почти во всех обстоятельствах жизни обращаются к своему помещику темными сторонами своего характера. Умный крестьянин в присутствии своего господина притворяется дураком, правдивый бессовестно лжет ему прямо в глаза, честный обкрадывает его, и все трое называют его своим отцом, – охотно читал Милютин эти слова, когда и ему самому приходилось сталкиваться с этим повседневно. – Почему 22 миллиона подданных, платящих государственные подати, служащих государственную службу, поставлены вне закона, вне прямого отношения верховной власти, числясь в государстве только по ревизским спискам как мертвая принадлежность другого сословия?.. Итак, 300 тысяч помещиков, не без основания встревоженных ожиданием страшного переворота; 11 миллионов крепостных людей, твердо уверенных в существовании глухого, давнишнего заговора дворянства против Царя и народа и в то же время считающих себя заодно с Царем в оборонительном заговоре против их общего врага, дворянства; законы, в которых народ не признает подлинного выражения царской воли; правительство, заподозренное народом в предательстве и не внушающее ему никакого доверия, – вот чем мы обязаны крепостному праву в отношении политическом. Может ли считать себя безопасным внутри благоустроенным государство, при котором подведен этот страшный подкоп? Может ли оно свободно и бестрепетно двигать всеми в нем заключенными силами?» Что он, Милютин, может сказать против четкого политического вывода Самарина? Ничего, и он с братом Николаем часто касались этих проблем. Но здесь, в этой записке, так все емко и глубоко сказано, и не только в политическом отношении, но и в экономическом: невозможно при такой крепостной зависимости совершенствовать русское сельское хозяйство, ибо помещик зависит от крестьянина, оброк постепенно переходит в барщину, а это уже произвол. «Опека, единожды допущенная, естественно распространяется; польза ее очевидна, а вред ускользает от глаз. Она проникает все глубже и глубже в домашнее хозяйство крестьянина, связывая его по рукам и по ногам. На этом скате нет средств удержаться; ибо, с одной стороны, любовь к порядку и благоустройству побуждает идти далее, а с другой – по мере ограничения личной ответственности крестьянина за самого себя он действительно утрачивает постепенно способность жить своим умом. Мало-помалу личность его как хозяина и семьянина теряет вместе с естественными своими правами природные свои способности, низводится на степень какой-то бездушной рабочей единицы и поглощается в механизме помещичьего хозяйства. Мы не спорим, что и в этом есть своего рода порядок, но не тот, который сам собою образуется при свободном развитии человеческой природы, а весьма близко подходящий к тому, о котором мечтали западные организаторы труда и прочие исправители законов, предустановленных Творцом».
С этой поры один из крупнейших помещиков России был отнесен к «красным», противникам правительственного и придворного Петербурга.