Другой важной реформой было введение земского самоуправления. Здесь соединилось несколько мотивов, определивших результат. Старое провинциальное управление было безнадежно перегруженным и излишне централизованным. Государство было не в состоянии содержать его. Кроме того, дворянство заявляло о своих требованиях и в этой области. Провинциальные губернаторы в отношении к излишней централизации стали на сторону реформаторов и сторонников децентрализации. Они неоднократно решительно включались в процесс формирования волеизъявления даже вопреки царю, одобрившему проекты, которые либо путем восстановления института генерал-губернаторов, либо путем создания мелких самодержцев в лице уездных шефов полиции сохраняли централизацию и хотели усилить влияние центра. В первом случае царя заставило отказаться от таких проектов заявление об отставке Ланского, во втором — массированная критика со стороны губернаторов, мобилизовавших и местное дворянство. Сила позиции сторонников децентрализации состояла в том, что они отстаивали объективно необходимую функциональную дифференциацию государственной деятельности. Одновременное обсуждение реформы судебной системы сделало очевидным, что по крайней мере судебные функции должны быть отделены от административных и полицейских. По предложению Ланского, уже 24.10.1858 г. это признал и царь. Реформаторам в Министерстве внутренних дел — Ланскому, Я. Соловьеву и не в последнюю очередь сатирику Михаилу Салтыкову — удалось в ноябре 1859 г. устранить еще одно препятствие на пути к желанной децентрализации и выборному самоуправлению, отделив полицию от других ветвей власти и освободив ее от видов деятельности, несвойственных полиции в современном понимании. Реформаторы через обычные системы, которые в предыдущие десятилетия объединялись Императорским географическим обществом, а также во все большей степени через Свободное императорское экономическое общество сотрудничали с активистами из среды провинциального дворянства, которые добивались большего участия выборных элементов в местном управлении. Правда, они, особенно Ланской и Милютин, не были готовы к тому, чтобы предоставить создаваемые земства исключительно дворянству. В среде самого провинциального дворянства раздавалось все больше голосов в пользу участия всех групп. Интенсивная журналистская кампания также поддерживала это требование. Автором первого проекта устава местного самоуправления был Яков Соловьев, которому царь, по-видимому, бывший теперь сторонником выборного элемента, дал поручение, дать новым институтам «как можно больше единства, независимости и доверия». Министр внутренних дел Валуев представил этот проект, но сразу же подчеркнул, что нужно бы усилить роль дворянства. Александр поддержал это, как и петербургское дворянство, которое уже в 1858 г. вносило такое предложение, и постепенно ставший политическим фактором власти журналист Михаил Катков, друг Валуева, со своим «Русским вестником». Польское восстание угрожало трагически ухудшить виды на введение новых выборных органов местного самоуправления. Валуев теперь пытался вывести из компетенции земства все элементы, которые хотя бы отдаленно могли произвести впечатление локальных, но в значительной степени самостоятельных правительственных органов. Однако барону М. А. Корфу, шефу Второго отделения Собственной его императорского величества канцелярии, удалось на заседаниях Государственного совета опрокинуть ограниченные, зафиксированные только на чисто сословном представительстве и административном контроле представления Валуева: по уставу от 1.1.1864 г. земства получили право выбора на основании имущественного ценза, которое в значительной степени игнорировало сословные границы и обеспечивало на уездном и губернском уровнях участие крестьян и городских элементов. На земства также не распространялись вето губернатора и административные взыскания. В противоположность представлениям Валуева они получили полномочия в области воспитания и школьного образования, тюремного дела и здравоохранения.
Земская и судебная реформы создали положение, которое больше не позволяло системе отступить. Это означало фактическое ограничение формально сохранявшейся абсолютной монархии. Хотя все еще существовал простор для административного произвола, а позже были предприняты меры для ограничения радиуса деятельности земств и круга ее участников, земства все же стали важным элементом оживления провинциальной жизни и одновременно одной из важнейших опор антисамодержавной политической контркультуры. Они являлись, возможно, единственным общественным форумом, на котором образованные слои населения могли упражняться в политической деятельности. Однако реформа местного самоуправления имела большой недостаток, который был абсолютно преднамеренным. Она оставила на нижнем конце пирамиды сословно организованную структуру местного самоуправления в форме чисто крестьянских органов «мира» (общины) и «волости».