Осенью 40-го года вся семья перебралась в Москву, где и провела зиму 40-41 года, на лето же снова вернулась в Ясную. Осенью 41-го года скончалась и их опекунша, гр. А. И. Остен-Сакен.
Александра Ильинична умерла в Оптиной пустыне. В то время, как она была там, дети оставались в Ясной с Т. А. Ергольской. Но когда пришло известие, что Александра Ильинична умирает, Татьяна Александровна уехала туда же. Это время особенно памятно было почти всем детям. Они остались с учителем Федором Ивановичем и со странницей Марьей Герасимовной, полуюродивой. Была у них тогда собака, черная моська, с которой они играли. Сделали ей трон и сажали ее на этот высокий трон, с которого она все прыгала. Но раз прыгнула и вдруг завизжала и поползла под стул. Ее осмотрели, и оказалось, что у ней сломана лапа. Отчаяние было ужасно, все плакали навзрыд. Впоследствии это впечатление слилось с воспоминанием об уединении, с монотонным чтением каких-то псалмов Марьи Герасимовны и с известием о смерти любимой тетеньки Александры Ильиничны.
По смерти Александры Ильиничны ее сестра Пелагея Ильинична, бывшая замужем за казанским помещиком В. И. Юшковым, приехала из Казани в Москву. Туда же осенью переехали и все дети с тетушкой Татьяной Александровной. Старший брат Льва Николаевича, Николай Николаевич, который уже был в это время студентом 1-го курса, обратился к тетеньке со словами: "ne nous abandonne pas, cher tante, il ne nous reste que vous au monde". Она прослезилась и задалась мыслью "se sacrifier". Что она под этим подразумевала - неизвестно, только она сейчас же стала собираться в Казань и для этого вперед заказала барки, которые нагрузили всем, что только можно было вывезти из Ясной Поляны. Дворню тоже всю повезли: столяров, портных, слесарей, поваров, обойщиков и проч. Кроме того, к каждому из братьев Толстых был приставлен крепостной человек в виде слуги, почти одного возраста с ними. Один из этих был Ванюша, сопровождавший потом Льва Николаевича на Кавказ и теперь еще доживающий свой век на покое у своей дочери в Туле.
Льву Николаевичу в это время было 13 лет. Господа с прислугой двинулись в многочисленных каретах и других экипажах и потянулись осенью из Тулы в Казань. Дорогой шла целая жизнь. Останавливались иногда в поле, в лесу, собирали грибы, купались, гуляли. Большое горе было при расставании с тетенькой Татьяной Александровной, которая была в недружелюбных отношениях с тетушкой Пелагеей Ильиничной и уехала после смерти Александры Ильиничны к своей сестре Елизавете Александровне Толстой, в село Покровское. Неприятности между Татьяной Александровной и Пелагеей Ильиничной происходили оттого, что муж Пелагеи Ильиничны в молодости был влюблен в Татьяну Александровну и делал ей предложение, но она ему откатом. Пелагея Ильинична никогда не простила любовь ее мужа к Т. А-не и за это ее ненавидела, хотя на вид у них были самые внешне дружественные отношения.
Отставной гусарский полковник В. И. Юшков оставил по себе в Казани память образованного, остроумного и добродушного человека, но вместе с тем большой руки шутника и балагура, каким он и остался до самой своей смерти. С женой он не ладил, и они не раз живали врозь.
Пелагея Ильинична также оставила по себе в Казани память крайне доброй, хотя и не большого ума женщины. Она была очень набожна и после кончины в 1869 году своего мужа удалилась в монастырь, Оптину пустынь. Затем она жила в Тульском женском монастыре, потом совсем переехала в Ясную Поляну, где уже в глубокой старости заболела и умерла.
В продолжение всей своей долгой жизни она строго соблюдала обряды православной церкви; но на восьмидесятом году, перед смертью, боясь ее, она не хотела причаститься и сердилась на всех за свои страдания, доставляемые ей предчувствием кончины.
Американский писатель Евгений Скайлер, путешествовавший по России в 1868 году и посетивший Льва Николаевича, так рассказывает в своих воспоминаниях о своем знакомстве с семьею Юшковых. Мы приводим эти воспоминания здесь, чтобы потом уже не возвращаться более к этим лицам. С самим Юшковым он познакомился в Казани.
"Я был принят, - говорит Скайлер, - в весьма хорошем и зажиточном доме и подал мою визитную карточку и рекомендательное письмо слуге, который, возвратившись, просил меня немного подождать. Пока я ждал, я заметил, что письмо, еще не распечатанное, положено на стул. Наконец вошел генерал, старый, но крепкого сложения и с выражением большой доброты и симпатии. Он просил меня сесть, сам сел, и после нескольких слов сказал:
- Вы привезли мне, я полагаю, письмо от моего племянника Льва? Где оно?
- Я думаю, что вы на нем сидите.
Он встал, нашел письмо и, протягивая его мне, сказал:
- Будьте так добры прочесть мне его. Я совершенно слеп.