Благодаря хлопотам Толстого в 1853 году был освобожден из ссылки И. С. Тургенев, который в этой связи писал будущей жене Толстого Софье Андреевне: «Вы говорите мне о графе Толстом: это сердечный человек, который вызывает у меня огромное чувство уважения и признательности. Он едва знал меня, когда на меня свалились неприятности, и, несмотря на это, никто не засвидетельствовал мне столько сочувствия и симпатии, как он, и сегодня он, быть может, единственный человек в Петербурге, который не забыл обо мне, единственный, по крайней мере, который доказал это. Некто сказал, что признательность — тяжкая ноша, но я счастлив, что могу быть признательным Толстому, и всю свою жизнь я сохраню это чувство».
Когда наступило царствование Александра П, Алексей Константинович пытался употребить свое влияние на молодого царя, чтобы добиться проведения в России либеральных реформ. Но пределы возможностей его в этой сфере были ограниченны. Когда в 1864 году на вопрос Александра II, что делается в русской литературе, Толстой ответил, что она «надела траур по поводу несправедливого осуждения Чернышевского», государь холодно оборвал его: «Прошу тебя, Толстой, никогда не напоминать мне о Чернышевском».
Между тем служебные дела Толстого продвигались таким образом, что на место привычного отвращения пришло негодование: не поставив в известность Алексея Константиновича, царь назначает его делопроизводителем «Секретного комитета о раскольниках», на которых тогда были гонения. По своему гуманистическому складу Толстой испытывал инстинктивное отвращение к любого рода притеснениям, и вот он сам должен был принимать участие в работе комитета, задачей которого было притеснение, гонение на людей, придерживавшихся отличной от признанной государством веры. Толстой начинает опасаться, чтобы новые его занятия «не были совершенно противоположны моей совести». Он писал тогда: «Эта мысль более мучительна для меня, чем если бы мне дали службу, только неприятную и не подходящую к моей природе, как большею частью административные посты». Соглашаясь на новую должность, Толстой оставляет за собой право «уйти во что бы то ни стало, хоть напролом», если в самом деле он не сможет оставаться на этом месте честным человеком.
В период работы в комитете состояние духа Алексея Константиновича было наиболее тяжелым. Он, вообще не признававший для себя никакой службы, мечтал в то время: «Если бы, например, меня употребили на дело освобождения крестьян, я бы шел своей дорогой с чистой и ясною совестью, даже если бы пришлось идти против всех». Спустя несколько лет, уже давно не работая в комитете, Толстой в письме к Александру II по поводу неоправданного и варварского разрушения памятников старины, чинимого во многих городах России «…с благословения губернаторов и высшего духовенства», допускает явную «крамолу», обрушиваясь на духовенство и противопоставляя ему гонимых им раскольников: «Именно духовенство — отъявленный враг старины, и оно присвоило себе право разрушать то, что ему надлежит охранять, и насколько оно упорно в своем консерватизме и косно по части идей, настолько оно усердствует по части истребления памятников.