Когда в конце 1853 г. вспыхнула Крымская война, он снова участвовал в сражениях, был награжден. Пользуясь репутацией храброго офицера, имел все шансы на продвижение, но его карьера оказалась испорченной написанием сатирических песен, снова высмеивающих начальство. Тем временем в первом номере "Современника" за 1856 год уже с полной подписью были опубликованы "Севастопольские рассказы", укрепившие его реноме талантливого автора, и в ноябре 1856 года он навсегда оставляет военную службу. В Петербурге его радушно встретили в великосветских салонах, он сошёлся с Тургеневым, кстати, своим дальним родственником, попал в кружок "Современника", но вскоре "люди ему опротивели, и сам он себе опротивел"
О его пребывании в Петербурге современники вспоминают нелестно, Тургенев описывал Толстого: "Странный он человек, я таких не встречал и не совсем понимаю. Смесь поэта, кальвиниста, фанатика, барича... несимпатичное существо..." "Вот все время так, - говорил с усмешкой тот же Тургенев. - Вернулся из Севастополя с батареи, остановился у меня и пустился во все тяжкие.Кутежи, цыгане и карты во всю ночь; а затем до двух часов спит, как убитый
. Старался удерживать его, но теперь махнул рукой". "С первой минуты я заметил в молодом Толстом невольную оппозицию всему общепринятому в области суждений". "С первых же дней Петербург не только сделался ему несимпатичным, но все петербургское заметно действовало на него раздражительно. Узнав от него в самый день свидания, что он сегодня зван обедать в редакцию "Современника", я согласился с ним ехать. Дорогой я счел необходимым предупредить его, что следует удерживаться от нападок на Ж. Санд, которую он сильно не любил, между тем как перед нею фанатически преклонялись в то время многие из членов редакции. Обед прошел благополучно. Толстой был довольно молчалив, но к концу он не выдержал, и, услышав похвалу новому роману Ж. Санд, он резко объявил себя её ненавистником, прибавив, что героинь её романов, если бы они существовали в действительности, следовало бы, ради назидания, привязывать к позорной колеснице и возить по петербургским улицам. Сцена в редакции могла быть вызвана его раздражением против всего петербургского, но скорее всего его склонностью к противоречию. Какое бы мнение ни высказывалось, и чем авторитетнее казался ему собеседник, тем настойчивее подзадоривало его высказать противоположное. Глядя, как он прислушивался, как всматривался в собеседника из глубины серых, глубоко запрятанных глаз, и как иронически сжимались его губы, он как бы заранее обдумывал не прямой ответ, но такое мнение, которое должно было озадачить, сразить своею неожиданностью собеседника", вспоминал Д. В. Григорович. Сохранилось и мнение Панаева: "Тургенев говорил о графе Толстом: "Ни одного слова, ни одного движения в нём нет естественного, Он вечно рисуется перед нами, и я затрудняюсь, как объяснить в умном человеке эту глупую кичливость своим захудалым графством. Тургенев так же находил, что Толстой имел претензию на донжуанство. Раз как-то граф Толстой рассказывал некоторые интересные эпизоды, случившиеся с ним на войне. Когда он ушел, то Тургенев произнес: "Хоть в щелоке вари три дня русского офицера, а не вываришь из него юнкерского ухарства, каким лаком образованности ни отполируй такого субъекта, все-таки в нем просвечивает зверство". Добавим, что "лака образованности" там вовсе и не было... В начале 1857 года Толстой уехал за границу. По возвращении - роман с крестьянкой Аксиньей и опять же - кутежи и карты. Впрочем, он и сам пишет: "Я жил дурно..." Новая поездка в Париж. Там время от времени у него были приступы резкой тоскливости, которые эпизодически вклинивались в его психику, как что-то тяжелое. В 1861 умер от чахотки его брат Николай, и в 1862 году, ему, отметим, 34 года, Толстой едет в Башкирию лечиться от депрессии.
Все как-то отрывочно, бездумно, рвано... На первый взгляд - странно, как этот человек явно мечется по жизни, не может обрести себя, понять, что ему нужно. Перед ним открываются возможности образования - он лениво пренебрегает ими, ему светит военная карьера - он бросает её, к литературному же поприщу он тоже равнодушен и никогда не считал себя профессиональным литератором и не принимал близко к сердцу интересы литературных партий, неохотно беседовал о литературе, предпочитая разговоры о вопросах веры, морали, общественных отношений.