Толстой искренне верил, что, случись реформа хоть завтра, у него не будет с мужиками никаких трудностей, потому что еще летом 1858 года он свои отношения с ними устроил по справедливости — покончил с барщиной, предложил что-то наподобие артели, готов был уступить свою землю по божеской цене. Манифест произвел на него сложное впечатление: рабству положен конец, но зачем же выдавать это за великое благодеяние, да и документ, писал он Герцену, составили так, что «мужики ни слова не поймут, а мы ни слову не поверим». Сразу по возвращении Толстой созвал крестьянскую сходку и попытался растолковать, на каких условиях происходит освобождение. Его условия были самые либеральные: вся крестьянская земля оставлялась крестьянам, а из помещичьей он давал по три десятины на душу, хотя минимальный надел устанавливался всего в одну. Все делалось так, чтобы мужики были не в обиде, однако ждали они, разумеется, большего — всей графской земли, причем безвозмездно. Так будет продолжаться и дальше: «грах», нечего спорить, хороший барин, только все равно барин, свой интерес ему всегда дороже.
Отношения Толстого с дворянством Крапивенского уезда, к которому относилась Ясная Поляна, в это лето складывались еще тяжелее. Для того чтобы решать земельные споры, был введен институт мировых посредников, и тульский губернатор назначил на эту должность Толстого, хотя уездный предводитель дворянства предлагал другую кандидатуру. Та клятва никогда не служить никакой власти, которую Толстой дал самому себе после того, как ему в Париже довелось присутствовать при гильотинировании, не была им забыта, и все-таки в этих обстоятельствах он счел своим нравственным долгом принять назначение. Дело это оказалось хлопотное и неприятное: обиды с обеих сторон, жалобы обделенных, доносительские письма начальству. Твердо держась своих принципов, Толстой чаще всего принимал сторону мужиков, и за это его обвиняли в пристрастности, доносили губернатору, что он не признает законности и подстрекает к волнениям. Приезжая в село, он всегда шел не в помещичий дом, а в избу старосты, чтобы не возбуждать недоверия крестьян, и выносил решения, которые не могли устроить местных сатрапов: требовал от них компенсации за побои, нанесенные дворовым, не позволял удерживать старых слуг, поваров и горничных в крепостном состоянии, прощал мужикам потравы господских лугов. Мировой съезд обычно отменял эти решения, но Толстой обращался в губернское присутствие по крестьянским делам, хотя знал, что за это его возненавидят еще больше. Так продолжалось все лето и осень 1861 года. «Меня и бить хотят, и под суд подвести, но ни то, ни другое не удается», — писал он Боткину. Удалось третье — бесконечными жалобами его вынудили просить об отставке. Она была дана сенатом в мае 1862 года — «по болезни».
Однако отставкой дело не кончилось. Доносов накопилось так много, что на Толстого обратило внимание жандармское ведомство. Как раз в ту зиму 1862 года тверское дворянство подало на высочайшее имя прошение, в котором указывалось, что реформу необходимо продолжать, уничтожив барские привилегии и заменив правительство народным собранием без различия сословий. Поднялся большой шум, подписавших эту петицию несколько месяцев продержали в Петропавловской крепости, а затем лишили права поступать на государственную службу. Начались ужесточения. В III Отделение поступил рапорт полковника Воейкова о том, что, по слухам, в имении Толстого, где существует крестьянская школа, проживают в качестве учителей студенты, замеченные в чтении запрещенных сочинений, и ведутся речи возмутительного содержания.
Бумаге дали ход, и за Толстым был установлен негласный надзор. Его поручили сыщику Михаилу Шипову, человеку малообразованному и крепко пьющему. Вскоре Шипов проболтался в тульском кабаке о возложенной на него обязанности, за эту провинность сам попал под арест и на допросе сочинил историю про какого-то курьера, который ездит из Ясной в отдаленное курское имение графа, где налаживают типографию, чтобы печатать прокламации. И в самой Ясной Поляне Шипов будто бы видел потайные двери и лестницы, ведущие в помещение, где спрятан печатный станок.
Протокол этого допроса лег на стол шефа жандармов князя Долгорукова, о котором Толстой в старости вспоминал, что был он человек «добрейший и очень ограниченный, пустейший мот». В Тулу направили полковника Дурново, обязав его проверить сведения, предоставленные Шиповым. 6 июля Дурново с крапивенским исправником и двумя приставами явился в Ясную и объявил гостившей там Марии Николаевне, что должен произвести обыск, так как имеются сведения о незаконной политической деятельности ее брата. Обыск продолжался два дня; ни потайных лестниц, ни литографных камней не обнаружилось. Могли бы, действуя умело и быстро, найти кое-что из запрещенных в России сочинений Герцена, а также его фотографию, однако Мария Николаевна и горничная тетушки Дуняша успели спрятать в канаве портфель с этими уликами.