В разговорах с Тургеневым Милютин заявлял, что правительство в настоящий момент гораздо «левее», либеральнее дворянского общества. Значительная группа помещиков вообще не высказывает никакого сочувствия освобождению крестьян и руководствуется только личными, материальными выгодами. Рожденные и воспитанные в условиях крепостного права, они ждут от реформы неминуемых потерь. Напуганное воображение рисует им картины нищеты и разорения их самих и их потомков. И хотя формально все губернские комитеты постановили отменить крепостное состояние, под разными видами они же пытались удержать дворянские права. Сначала хотели остановить работу по подготовке реформы, запугивая правительство и бюрократические верхи крестьянским бунтом, слухами о том, что сторонники освобождения вынашивают планы демократической революции в России. Теперь же, когда убедились, что остановить реформу невозможно, они стараются сделать ее выгодной только помещикам: домогаются выкупа за личность крестьянина, возлагая его или на самих крестьян, или на правительство, или на все сословия государства; борются за сохранение барщины и своей власти над крестьянами; стремятся всячески урезать земельные наделы крестьян и ограничить пользование надельной землей двенадцатилетним сроком, а если можно, то и вовсе лишить крестьян надела.
Не лучше вела себя и богатая земельная аристократия. На первый план она ставила сохранение и защиту сословных интересов помещиков и выступала за создание дворянской поземельной аристократии вроде английской и за введение вместо дворянской собственности на крепостных началах такой же собственности на началах феодальных. За предоставление крестьянам усадебной земли и полевых наделов они требовали введения помещичьих «вотчинных прав», напоминающих средневековые привилегии дворянства Западной Европы. Но наделение крестьян землей с их стороны — вынужденная уступка, истинное их желание — освободить мужиков без всяких наделов.
Только незначительная группа дворян желала полного уничтожения крепостного права. По итогам деятельности губернских дворянских комитетов выяснилось, что эта группа составляла большинство лишь в Тверском, Харьковском и Киевском губернских комитетах, а в остальных губерниях им не удалось занять лидирующего положения. Сочувствуя планам правительства, стремясь оградить личность крестьянина от произвола и выступая за прочное обеспечение крестьян землею, они расходились в некоторых частных вопросах, но единодушно защищали полную отмену помещичьей власти и выкуп обязательный или необязательный всего или части надела в личную собственность на условиях умеренных.
Соглашаясь с Кавелиным, Милютин утверждал, что никакой другой конституции, кроме узко дворянской, в настоящее время в России невозможно. Он считал наивными мечты Константина Аксакова о Земском соборе. В нынешней исторической ситуации этот Собор будет удовлетворять лишь дворянские интересы, а не «общенародные мнения».
К марту 1859 года Милютин добился привлечения к работе редакционных комиссий людей практического опыта, «экспертов», зарекомендовавших себя в губернских комитетах решительными сторонниками освобождения. В их число вошли Ю. Ф. Самарин, кн. В. А. Черкасский, Г. П. Галаган, В. В. Тарновский. Приглашая к сотрудничеству Самарина, Милютин писал: «Отбросьте все сомнения и смело приезжайте. Мы будем, конечно, не на розах: ненависть, клевета, интриги всякого рода, вероятно, будут нас преследовать. Но именно поэтому нельзя нам отступать перед боем, не изменив всей прежней нашей жизни».
Они действительно оказались «не на розах»: в состав редакционных комиссий вошло немало крепостников: граф П. П. Шувалов, кн. Ф. И. Паскевич и многие другие. Им пришлось столкнуться с энергичным сопротивлением Милютина и его друзей. Особенно трудно было тягаться с Милютиным — неотразимым диалектиком. «Вас не переспоришь!» — в досаде воскликнул однажды его противник генерал П. А. Булгаков. Когда Милютин схватывался с Позеном, председатель Ростовцев не знал, что ему делать, и молчал, потупив глаза.
Летом 1859 года единомышленники собирались у Милютина на даче. «В светлые, теплые летние ночи стол иногда выносился в садик и ставился посреди душистых сиреневых кустов. Заседания начинались около 8 часов и часто длились до 5 утра... Окрестные работники и крестьяне, извозчики, лодочники скоро разузнали, какого рода эти собрания, и пользовались всяким случаем, чтобы каким-нибудь трогательным образом выразить труженикам свое участие и благодарность», — вспоминала жена Милютина, Мария Аггеевна.
Общественная жизнь Петербурга в эти годы кипела ключом. Тургенев сошелся тогда с прогрессивным кружком украинских литераторов, познакомился с вернувшимся, наконец, из ссылки Тарасом Григорьевичем Шевченко, подружился с молодой украинской писательницей Марией Александровной Маркович, напечатавшей под псевдонимом Марко Вовчок свои рассказы из народного быта. Писатель так увлекся этими бесхитростными и правдивыми рассказами, в чем-то напоминавшими «Записки охотника», что перевел их на русский язык.