Судьба поэта, силою обстоятельств лишенного свободы творить по вдохновению, нашла отражение в поэме Толстого «Иоанн Дамаскин». Герой ее — древний богослов и автор церковных песнопений — совершенно очевидно выражает сокровенные желания и устремления самого Алексея Константиновича:
Поэма была написана Толстым в 1858 году. Годом раньше скончалась его мать, умерли и почти все дядья Толстого — люди, настаивавшие на его служебной карьере. Но и теперь еще не мог просто уйти в отставку Алексей Константинович. Надо было объясниться с Александром II, а это было не так легко.
Прежде чем добиться полной отставки, он уволился в «бессрочный отпуск во внутренние губернии России, с правом отлучаться за границу, без испрошения на то особого дозволения, но с тем, чтобы он о всякой своей отлучке уведомлял командующего Императорской Главной Квартиры». И только в 1861 году — 44 лет от роду! — Алексей Константинович решился наконец добиться полной свободы. Он обратился прямо к Александру II, откровенно объясняя царю причины, по которым он просит отставки. Признавшись, что любая служба противна его натуре, Толстой пишет:
Наконец долгожданная свобода была дарована ему «высочайшим соизволением» осенью 1861 года. Что же касается благородного намерения Алексея Константиновича говорить царю правду, то выше мы уже приводили разговор Толстого с Александром II по поводу судьбы Чернышевского; в том же году Алексей Константинович еще раз навлек на себя неудовольствие царя, когда пытался высказать свою точку зрения относительно царской политики после подавления польского восстания. Современник вспоминает: «…В лице графа Толстого было страстное, но честное убеждение человека самых искренних и даже фанатичных, гуманно-космополитичных взглядов и стремлений… Его мечты требовали от России не муравьевской энергии после мятежа, а признания в поляках элементов культуры и европейской цивилизации…» Надо сказать, что вообще дружескими отношениями с царем и императрицей Алексей Константинович не обольщался. «Цепи — всегда цепи, даже цепи из цветов», — писал он, высказывая опасение, как бы доброта императрицы «не обернулась для него рабством».
Да, друг государя, если и мог рассчитывать на успешное продвижение по службе, если в некоторых случаях его заступничество перед царем могло кому-то пойти на пользу (кроме уже упомянутых историй, Толстой вступался, например, за ссыльного Тараса Шевченко; за И. С. Аксакова, отстраненного от редактирования газеты «День»; еще раз за того же И. С. Тургенева, спустя десять лет после истории с некрологом Гоголя, обвиненного в связях с Герценом и Огаревым), твердо знал, что лично ему, как и другим, не все дозволено. Так, ясно осознавал он, что та правда, которую он бесстрашно высказывал в «высших сферах», редко производила нужное действие — а ведь чаще всего именно действия она требовала. С несвойственным ему раздражением он опровергает мнение Д. Ф. Тютчевой, дошедшее до него, согласно которому его откровенность должным образом оценивалась при дворе: «Что это она пишет о моей откровенности, которую сумели оценить! Самое большее, ее иногда терпели, но всегда это оставалось бесплодным».