13 июня 1904 г. в Дневнике записано: «Вчера поправлял Пошину биографию. Кое-что вписывал. Плохо» (т. 55, стр. 50).
Автографы этих вставок и исправлений сохранились, хотя и неполностью. Всего Толстым в главах I—V (до описания отъезда Толстого на Кавказ) было сделано три вставки на отдельных листах и внесены различные дополнения и исправления на двадцати восьми листах текста. В главе VII («Кавказ») сделаны исправления в первых трех абзацах, к ним же добавлены две вставки на отдельных листах и далее внесены исправления еще в один абзац.
Толстой писал 10 июня 1904 г. Бирюкову: «Всё приступаю к работе над воспоминаниями и вашей биографией, которой прочел только малую часть (делаю отметки), но всё не могу вполне отдаться этой работе. А не хочется ее делать кое-как» (т. 75).
И позднее мысль о продолжении «Воспоминаний» не покидала Толстого. 17 августа 1904 г. он записывает в Дневнике: «Сейчас думал о том, что решительно надо оставить мысль отделывать свои сочинения. А надо писать то, что уясняется в голове, как сложилось по разным отделам... Воспоминания непременно надо записывать, как вспомнится: какие времена, состояния, чувства живо вспомнятся и покажутся стоящими записи. Это очень бы было хорошо. Не знаю, удастся ли» (т. 55, стр. 76).
24 ноября 1904 г., перечислив в Дневнике «три вещи» — «самое необходимое», что «надо писать», Толстой прибавляет: «Если будет время и силы по вечерам, то воспоминания без порядка, а как придется. Очень стал живо вспоминать. Не знаю, удастся ли живо выразить» (т. 55, стр. 103).
В конце декабря 1904 г. Бирюков, получивший разрешение вернуться в Россию, приехал в Ясную Поляну. В беседах с Толстым он расспрашивал его о разных событиях его жизни. Толстой охотно отвечал ему. Эти беседы вновь привлекли внимание Толстого к «Воспоминаниям», о чем свидетельствуют записи 29 и 30 декабря 1904 г. в «Ежедневнике» С. А. Толстой и 31 декабря в Дневнике Толстого.
В этот период работы, судя по сохранившимся рукописям, было написано окончание главы VII (правильнее — VIII) — о яснополянских слугах, камердинерах отца Толстого, и картина обеда в Ясной Поляне при жизни отца (см. рукопись № 7). Написанное не удовлетворило Толстого, и на последней странице сбоку он приписал: «Всё скверно». Тогда же, вероятно, была начата новая глава — «Братья». В первый день работы было написано только самое начало этой главы, занимающее полторы строки: «Начну с младших. Митинька одним годом старше меня».
На другой день, получив копию, Толстой после этих слов отметил: «Нет еще. Не могу перейти к братьям. Надо упомянуть о буфетчике Василье Трубецком» и написал воспоминания о буфетчике Василии Трубецком и о дворовых ряженых.
Возвратившись затем к начатому рассказу о братьях, Толстой написал воспоминания о брате Дмитрии.
Следующий период работы над «Воспоминаниями» относится к 1905 г. 1 февраля 1905 г. Толстой записал в Дневнике: «Два дня писал понемногу воспоминания» (т. 55, стр. 122). В этот период была написана глава VIII (правильнее — IX), содержащая окончание воспоминаний о брате Дмитрии, и новые главы: «Фанфаронова гора» и «Брат Сережа» (см. рукопись № 8). Возможно, что последние страницы этих глав были написаны в первых числах марта 1905 г. (хотя в Дневнике Толстого это и не отмечено), так как в «Яснополянских записках» Д. П. Маковицкого 9 марта 1905 г. записано, что накануне, то есть 8 марта, М. Л. Оболенская переписывала те главы «Воспоминаний», где говорится о братьях (Д. П. Маковицкий, «Яснополянские записки», вып. 1, изд. «Задруга», М. 1922, стр. 82).
Вероятно, к марту 1905 г. должна быть отнесена и пометка Толстого в Записной книжке: «Писать каждый день хоть страницу воспоминаний» (т. 55, стр. 302). Намерение это, однако, не было выполнено. В неопубликованной части «Яснополянских записок» Д. П. Маковицкого 11 апреля 1905 г. записано, что на вопрос своего сына Льва Львовича, пишет ли он воспоминания, Лев Николаевич ответил: «Давно не писал. Надо настроение, а то выходит слабо. Писал о братьях, хотел их изобразить. Начал с Дмитрия, хронологически... О некоторых лицах прислуги... Но не в состоянии был так продолжать. Надо выбирать отдельные сцены, описывать самые яркие эпизоды».
Вскоре после этого разговора, 17 апреля 1905 г., перечисляя в письме к Черткову начатые работы, Толстой называет и воспоминания, «которые только начал» (см. т. 89).
15 июля 1905 г. Д. П. Маковицкий записал в своем дневнике: «Лев Николаевич... начал поправлять «Биографию» Бирюкова и продолжать свои воспоминания». 16 июля: «Вечером с десяти до половины двенадцатого Лев Николаевич диктовал воспоминания о своей жизни на Кавказе».