6 февраля 1897 г., узнав, что Чертков высылается из пределов России, Толстой поехал в Петербург проститься с ним. 10 февраля 1897 г. он побывал у Стасова, у которого наводил справки об интересовавших его книгах. Кроме того, навестил генерала К. А. Дитерихса, участника кавказской войны, несколько раз встречавшегося с Хаджи-Муратом и в стычках, и после перехода его к русским. Дитерихс рассказывал Толстому целый вечер о Хаджи-Мурате, о его внешности, характере, о том, как он хромал, как кинулся со скалы и пр. (сообщение дочери К. А. Дитерихс — О. К. Толстой).
По возвращении из Петербурга Толстой работал над книгой «Что такое искусство?», одновременно продолжая обдумывать «Хаджи-Мурата». В Дневнике 3 марта 1897 г. записано: «Очень захотелось писать Хаджи Мурата и как-то хорошо думалось, умилительно». Но и в этот раз Толстой не работал над «Хаджи-Муратом», собирание же и изучение материалов продолжалось. Г. А. Джаншиев, известный публицист, по происхождению армянин и уроженец Кавказа, писал Толстому 17 марта 1897 г.: «Приятель мой С. И. Танеев передал мне вчера, что вы желали бы иметь типы и виды кавказские. Позвольте предложить вам всё, что у меня оказалось. Если найду еще что-нибудь у знакомых, не замедлю прислать». На конверте письма Джаншиева рукою Толстого проставлена надпись: «Отошли книги», сделанная им для дочери после просмотра книг Джаншиева.
4 апреля 1897 г. в Дневнике записано: «Вчера думал очень хорошо о Хаджи Мурате — о том, что в нем главное надо выразить обман веры. Как он был бы хорош, если бы не этот обман».
А 30 апреля 1897 г. Толстой писал П. И. Бирюкову: «Назойливо пристают мысли художественные, одна кавказская, всё не оставляющая меня в покое, другая драма» («И свет во тьме светит»).
Но еще в течение года после написания «Репья» Толстой не приступал к работе над «Хаджи-Муратом», будучи всецело занят другими работами, хотя сюжет этот всё более и более привлекал его внимание. 14 октября 1897 г. он записал в Дневнике: «К Хаджи Мурату подробности: 1. Тень орла бежит по скату горы. 2. У реки следы по песку зверей, лошадей, людей. 3. Выезжая в лес, лошади бодро фыркают. 4. Из куста держи-дерева выскочил козел». В Дневнике 16 октября 1897 г. записано: «Вчера вечером и нынче хотел писать Хаджи Мурата. Начал. Похоже что-то, но не продолжал потому, что не в полном обладании. Не надо портить и насильно».
С. А. Толстая в своих записках «Моя жизнь» пытается объяснить причину неуспеха работы Толстого так: «Лев Николаевич брался и за излюбленного им «Хаджи-Мурата», но с этим делом не пошло и пришлось оставить. Художественные работы, на мой взгляд, всегда требовали полного спокойствия, как физического, так нравственного, духовного. Без него работа не шла. А спокойствия было всё меньше и меньше». Тем не менее после первой неудачной попытки 15—16 октября 1897 г. Толстой через месяц возобновляет работу над «Репьем». В Дневник 11 ноября 1897 г. занесено: «С утра писал Хаджи-Мурата — ничего не вышло. Но в голове уясняется, и очень хочется».
Написанное 15—16 октября и 11 ноября 1897 г. представляет собой начало второй незаконченной редакции произведения (варианты №№ 2—11). Здесь четыре главы. Тема развита шире, чем в «Репье», композиция иная. В главе I описывается выход солдат в секрет; в гл. II — вечер у молодого Воронцова; в главе III — пребывание Хаджи-Мурата с мюридом Асланбеком у кунака Саффедина, в главе IV — рубка леса, смерть Никитина, выезд молодого Воронцова и встреча с Хаджи-Муратом, прием Хаджи-Мурата Марьей Васильевной, столкновение молодого Воронцова с Меллер-Закомельским.
Материалом для гл. I этой редакции послужила книга Зиссермана «Двадцать пять лет на Кавказе», ч. II, стр. 288, для остального — «Воспоминания» В. А. Полторацкого. События происходят в передовой крепости Шахгири, или по-русски Воздвиженской, в которой Толстой бывал в своей молодости. В рассказе выведен Полторацкий, первоначально названный настоящей своей фамилией, затем «Полторасовым», потом «краснолицым» и «широколицым офицером» без фамилии. Толстой знал Полторацкого в бытность на Кавказе; вспомнить его внешность помог портрет, приложенный к журналу «Исторический вестник» за 1895 г. Молодой Воронцов и его жена Марья Васильевна отчасти описаны по личным воспоминаниям, так как Толстой встречался с ними на Кавказе, отчасти по «Воспоминаниям» Полторацкого. Первая глава новой редакции произведения далась Толстому с большим трудом. Листы, на которых она написана, испещрены бесчисленными вставками и исправлениями. С еще большим упорством Толстой работал над коротенькой третьей главой, принимаясь за нее девять раз. Страницы ее едва поддаются прочтению. Толстой записал по поводу данной рукописи: «не вышло» и прекратил работу над нею.