Анна Алексеевна Толстая приехала с Алёшей в Москву во время коронации Николая I. Она была хорошо принята при дворе и уже 22 августа 1826 года стала статс-дамой. 30 августа мать и сын были приглашены на дачу графини Анны Алексеевны Орловой-Чесменской в Нескучном саду, где жила императрица с детьми. В этот день и состоялось знакомство будущего поэта с наследником престола. Прибыли и другие гости. Всего в своеобразном детском празднике участвовали десять мальчиков и десять девочек. После вечернего чая мальчики открыли в беседке стрельбу из игрушечных ружей. Следы от пуль в стене этой беседки можно было видеть спустя годы.
Вскоре последовал переезд в Петербург. Алёша оставался участником игр цесаревича и в Зимнем дворце, и в Царском Селе, и на Елагином острове. Всё чаще это были игры в войну с перестрелками и даже с залпами из крошечных пушек. Постигалась «наука парада» и отрабатывались ружейные приёмы. Впрочем, поэтически настроенному Алёше Толстому всё это уже было не по вкусу; маршировки не доставляли ему никакого удовольствия.
Для игр с цесаревичем Алёшу вывозили по воскресеньям, а в остальные дни, если судить по автобиографической поэме «Портрет» (зима 1872 — осень 1873), он был предоставлен самому себе. Анна Алексеевна Толстая занимала обширный дом возле Аничкова дворца, она постоянно выезжала в свет, и не удивительно, что о своём детстве поэт вспоминал такими словами:
Конечно, имело место и так называемое домашнее воспитание, но о своих наставниках Алёша был невысокого мнения:
В душе мечтательного отрока подспудно зарождалась тяга к прекрасному, как предчувствие собственного предназначения в жизни. Уже давала о себе знать и потребность любви. Не удивительно, что первым объектом её оказалась не женщина из плоти и крови, а живописное полотно, висящее на стене большого зала:
Тайком от взрослых мальчик проводил перед портретом долгие часы. Конечно, добром это кончиться не могло. Однажды ему показалось, что его подруга вышла из рамы, и они стали танцевать по залу. Галлюцинация закончилась продолжительным обмороком. Возможно, впервые проявил себя недуг, преследовавший А. К. Толстого всю жизнь и, в конце концов, сведший его в могилу.