В годы правления Александра II авторитет Кавелина как историка и прогрессивного деятеля в научных и придворных кругах был столь высок, что его даже пригласили в воспитатели к наследнику-цесаревичу Николаю Александровичу. Перед Кавелиным возникает перспектива служения обществу, аналогичная позиции В.А. Жуковского, воспитавшего Александра II. Однако этого Кавелину было недостаточно – он хотел активного участия в общественной борьбе, как можно скорее добиваться отмены крепостного права. Несмотря на то что новый император явно собирался действовать в этом направлении, говорить об отмене крепостного права в печати было тем не менее запрещено. В продолжение этой «рукописной литературы» Кавелин пишет своего рода трактат – широко разошедшуюся по рукам «Записку об освобождении крестьян». Часть этой записки (также без имени автора) печатает в «Голосах из России» А.И. Герцен; другую часть тоже безымянно публикует в «Современнике» Н.Г. Чернышевский.
Читатели «Записки» сразу обратили внимание на то, что автор ставит вопрос об освобождении крестьян весьма широко, выступая не только за освобождение помещичьих крестьян с землей (через ее выкуп), но и против «государственного крепостничества», к которому он относил позорную практику солдатской рекрутчины. Впрочем, подлинное имя автора «Записки» быстро становится известным, и Кавелина отстраняют от преподавания наследнику, отлучают от двора.
Когда в 1862 году в Петербурге случились известные пожары, Кавелин, как и многие его современники (Достоевский, Лесков), поверил, что это дело рук «революционной партии». Начинается расхождение, а затем и разрыв Кавелина с радикальной частью общественного движения. В 1862 году он писал Герцену в связи с арестом Чернышевского: «Аресты меня не удивляют и, признаюсь тебе, не кажутся возмутительными. Это война: кто кого одолеет. Революционная партия считает все средства хорошими, чтоб сбросить правительство, а оно защищается своими средствами». И это письмо, и многие другие тексты часто вменялись Кавелину в вину как «реакционные»: поздний Кавелин окончательно разошелся, например, с эмигрантом Герценом.
В 1862 году Кавелин печатает за рубежом брошюру «Дворянство и освобождение крестьян», в которой скептически оценивает правительственный вариант освобождения крестьян. Кавелин исходил из того, что крестьянская реформа проведена правительством вопреки желанию большинства дворян, опасавшихся губительных для себя последствий. Неизбежное напряжение между дворянством и крестьянством может привести к революционному взрыву, что, на взгляд Кавелина, отбросило бы Россию далеко назад. За революционным хаосом могла бы возникнуть еще худшая диктатура. В одном из писем Герцену в июне 1862 года Кавелин замечал: «Выгнать династию, перерезать царствующий дом – это очень нетрудно и часто зависит от глупейшего случая; снести головы дворянам, натравивши на них крестьян, – это вовсе не так невозможно, как кажется… Только что будет затем? То, что есть, не создаст нового, по той простой причине, что будь оно новым, – старое не могло бы существовать двух дней. И так выплывает меньшинство, – я еще не знаю какое, – а потом все скристаллизуется по-старому…»
В своих политических расчетах либерал Кавелин не делал серьезной ставки на «средний класс». «Третье сословие», по его мнению, малочисленно и слабо, соответственно, не может приниматься в расчет. Стало быть, говорить о всеобщем представительном правлении, по Кавелину, можно только в расчете на крестьянство, на «мужицкое царство», составлявшее 80 % населения. Крестьяне же, полагал Кавелин, не готовы еще ни к общенациональному представительству, ни к гражданскому самоуправлению. «Россия, – писал Кавелин, – еще во всех отношениях печальная пустыня; ее надо сперва возделать…» Оппонент Кавелина Герцен, в очередной раз обидевшись за народ, обвинил бывшего друга во вражде к народу, публично утверждая, что свои рассуждения Кавелин основывает на том, что «народ русский – скот, выбрать людей для земства не умеет, а правительство – умница…».
Спор о сроках и степени готовности народа к демократическому правлению в России так и не был разрешен. Фактом остается то, что спустя всего несколько десятилетий революция в России победила конституцию. Многие позднейшие отечественные историки (Н.Я. Эйдельман, например), изучая истоки большевистской трагедии, полагали, что своевременное принятие конституции могло бы еще до возникновения радикальных революционных партий направить Россию на европейски-эволюционный путь развития, вводя в общественное сознание