Но если говорить о главном направлении политики Александра II в первые годы после отмены крепостного права, то неоспоримым остается факт, что либеральные реформы интенсивно продолжались: в 1863 г. отмена телесных наказаний (17 апреля — в день рождения императора), новый университетский устав 1863 г., в 1862 г. — гласность государственного бюджета, в 1864 г. — земская реформа и Судебные Уставы 19 ноября, началась подготовка военной реформы, и во главе военного министерства поставлен сторонник преобразований Д. А. Милютин. Александр II сознательно шел на введение новых институтов — всесословного выборного местного самоуправления в уездах, губерниях, городах, совершенно нового для России судоустройства и судопроизводства с независимостью и несменяемостью судей, с присяжными заседателями из всех сословий (среди которых представительство крестьян было очень значительным), с выборным мировым судом — низшей инстанцией введенного судоустройства, он признал либеральную программу преобразования всей системы народного просвещения, постепенно, после длительных оттяжек он согласился на отказ от рекрутских наборов и переход к всесословной воинской повинности. Однако он не смог подняться до понимания необходимости общей программы преобразований во всех сферах государственной и общественной жизни, согласованной и целенаправленной, не смог выйти за рамки государственной системы, связанной корнями с крепостным правом, сам оставаясь ее пленником. Более того, принимая новое законодательство, он вскоре допускал реакционные коррективы, искажавшие его (как тогда говорили, «новеллы» к реформам). Эта двойственность и непоследовательность подрывали авторитет дела Великих реформ и вызывали недоверие общества к власти и ее высшему выражению — к монарху.
Отчаянные тревоги деятелей крестьянской реформы Д. А. Милютина (отстраненного самодержавной властью от ее реализации) и его сторонников о слабости гарантий принятого либерального курса, о необходимости иметь в обществе опору в виде партии середины (le centre) для поддержки начатой в государстве перестройки были чужды Александру II. В поляризации политических сил, в усилении и активизации реакции и революционного экстремизма, ослаблении либералов, апатии и усталости общества он не увидел, не осознал грозящую делу реформ и ему лично катастрофу. Выстрел Д. Каракозова у ворот Летнего сада 4 апреля 1866 г. — первый предвестник трагического конца царя-освободителя через 15 лет. Но это уже другая страница его жизни.
Человек храбрый, не раз проявивший свое бесстрашие, Александр II был потрясен этим первым покушением. Не страх за собственную жизнь, а сознание, что стрелял в монарха России, в «помазанника Божия», русский человек, а не поляк, как ему сначала показалось, было тяжелым откровением и превосходило его понимание. Спустя десять дней после покушения Каракозова Александр II поддержал предложение Священного Синода об «учреждении ежегодного повсеместного совершения в 4-й день апреля крестного хода на городские площади… с целодневным звоном». Митрополит московский Филарет, признанный авторитет и человек государственного ума, тогда же высказал обер-прокурору. Священного Синода свое удивление: «Надобно ли каждый год торжественно напоминать народу, что возможно восстание против царя, которое он прежде почитал невозможным». Сын по-своему повторил отца: Николай I ежегодно 14 декабря в Аничковом дворце собирал преданных ему генералов, подавивших выступление декабристов, Александр II на одиннадцатом году своего царствования сделал день первого покушения на него также датой памятной, но, соответственно эпохе, придал ей более «демократический», всенародный характер.
Середина 60-х годов была временем глубоких переживаний и потрясений в жизни Александра II, не только в политической, но и в личной.
В мае 1865 г. в Ницце скоропостижно скончался в 22-летнем возрасте старший сын и наследник престола великий князь Николай Александрович (в семье — Нике), воспитанник одного из либеральных деятелей эпохи Великих реформ К. Д. Кавелина, по общим отзывам, мягкий, гуманный, просвещенный, внушавший надежды на благополучное продолжение начатых преобразований. Расшаталось и без того слабое здоровье императрицы Марии Александровны. Александр II тяжело перенес постигший семью неожиданный удар. В том же году, после длительных колебаний, мучительной внутренней борьбы он дал волю своим чувствам к юной княжне Екатерине Михайловне Долгорукой, и начался роман, прервавшийся только со смертью. Он ничем не походил на прежние мимолетные увлечения и многочисленные связи императора, к которым привыкли все, не исключая императрицу. То была любовь зрелого мужчины 47 лет к 18-летней девушке, обаятельной, стройной, неотразимой в своей женственности и чувственной красоте. Она ответила ему тем же чувством. Попытка расстаться на полгода, чтобы избежать скандала и остудить чувства, не удалась и никогда больше не предпринималась.