А.К.Толстой родился в аристократической семье. Его дедом по материнской линии был граф Разумовский, министр просвещения при Александре I, его отец был братом известного рисовальщика и гравера Федора Толстого. С детства А.К.Толстой был близок с дядей по матери, писателем А.А.Перовским, автором фантастических повестей, подписывавшимся псевдонимом «Антон Погорельский». Перовский показывал стихи молодого племянника Жуковскому, они были также одобрены Пушкиным. А.К.Толстой получил блестящее домашнее воспитание. Еще в раннем возрасте он совершил путешествия за границу. Десятилетним мальчиком с матерью посетил в Веймаре Гете в его доме и сидел у него на коленях. Потом путешествовал по Италии: сохранился его дневник 1831 года с описанием достопримечательностей Венеции, Помпеи, Геркуланума. Будучи почти однолетком с наследником русского престола (Александром II), он был допущен в компаньоны его детских игр. Все пророчило А.К.Толстому блестящую карьеру. Но А.К.Толстой не воспользовался открывавшимися перед ним возможностями. Во время службы в Московском архиве министерства иностранных дел он увлекался чтением и описанием древних документов. Двадцати лет он служил в русской миссии во Франкфурте-на-Майне, потом в отделении собственного его императорского величества канцелярии, ведавшем законодательством, но завзятым дипломатом, юристом-чиновником не сделался. В 1843 году получил придворное звание камер-юнкера, то самое, которое в свое время получил и Пушкин, и что оскорбило его, но это звание не обрадовало и А.К.Толстого, чуждого всякого тщеславия и подобострастия по отношению к официальным званиям и обязанностям.
Личные отношения с вступившим в 1855 году на трон Александром II были довольно откровенными, и А.К.Толстой нередко говорил царю-"освободителю" горькую правду. Он тяготился пожалованным ему титулом флигель-адъютанта, обязывавшим часто бывать во дворце на церемониалах, и попытался при удобном случае сложить с себя тяжелую для него службу. В письме к царю он докладывал в 1861 году: «…служба, какова бы она ни была, глубоко противна моей натуре… Путь, указанный мне… — мое литературное дарование, и всякий иной путь для меня невозможен». Толстой обладал благородным независимым характером. Александр II никогда не считал его вполне своим человеком и все больше ему не доверял. Толстой хлопотал за смягчение участи сосланного в солдаты Тараса Шевченко, за славянофила Ивана Аксакова, когда ему запретили издавать газету «День», за Тургенева, обвинявшегося в сношениях с политическими эмигрантами Герценом и Огаревым. А в 1864 году, когда Александр II учинил позорную «гражданскую казнь» над Чернышевским перед ссылкой в Сибирь, на вопрос царя при встрече, что делается в литературе, Толстой ответил: «…русская литература надела траур по поводу несправедливого осуждения Чернышевского». Царь не дал Толстому договорить: «Прошу тебя, Толстой, никогда не напоминать мне о Чернышевском».