11 (23) августа князь Багратион, оказавшись перед угрозой обхода своего левого фланга, сам предложил отойти к Дорогобужу, утверждая, что там имеется очень сильная позиция. Барклай де Толли, напротив, располагал совершенно другими сведениями: его квартирмейстеры нашли позицию при Дорогобуже негодной, да и сам он счел ее «слишком тесной».
После этого Михаил Богданович и послал генерала Трузсона и полковника Толя к Вязьме с целью выбора там позиции для сражения. Но они вернулись с донесением, что около Вязьмы подходящей позиции нет, но зато она была найдена за Вязьмой, у селения Царево — Займище.
Безусловно, давать генеральное сражение сильному противнику на плохой позиции — это было бы безумием. Тем не менее решение Барклая идти к Царево-Займищу вызвало в армии уже просто крайнюю степень неудовольствия. Больше всех усердствовал конечно же князь Багратион: он не скрывал своего бурного негодования и не жалел обидных упреков. В результате уже никто не верил обещанию Михаила Богдановича сражаться, а самого его штабные остряки-самоучки стали за глаза звать вместо «Барклай де Толли» — «Болтай да и только».
В это время Барклай написал императору: «Кажется, теперь настала минута, где война может принять благоприятнейший вид, потому что неприятель, невзирая на его усилия соединить все силы <…> слабеет на каждом шагу, по мере того, как подается вперед, и в каждом сражении с нами. Напротив того, наши войска подкрепляются резервом, который Милорадович ведет к Вязьме. Теперь мое намерение поставить у этого города в позиции 20 000 или 25 000 человек, и так ее укрепить, чтобы этот корпус был в состоянии удерживать превосходящего неприятеля, чтобы с большею уверенностью можно было действовать наступательно. Этому до сих пор препятствовали важные причины: главнейшая — та, что пока обе армии не были подкреплены резервами, они составляли почти единственную силу России против превосходного и хитрого неприятеля. Следовательно, надобно по возможности сохранять армии и не подвергать их поражению, чтобы действовать вопреки намерению неприятеля, который соединил все свои силы для решительного сражения. Доныне мы имели счастье достигать нашей цели, не теряя неприятеля из вида. Мы его удерживали на каждом шагу, и, вероятно, этим принудим его разделить его силы. Итак, вот минута, где наше наступление должно начаться».
При этом в ночь на 12 (24) августа обе русские армии отошли к Дорогобужу, а 13 (25) августа продолжили отступление к Вязьме.
Князь Багратион, крайне недовольный оставлением Дорогобужа без боя, писал в те дни графу Ф. В. Ростопчину:
«Продолжаются прежние нерешительность и безуспешность. Послезавтра назначено быть обеим армиям в Вязьме, далее же что будет, вовсе не знаю, не могу даже поручиться и за то, что не приведет [Барклай. —
А тем временем Барклай де Толли приказал вывезти из Вязьмы все, что возможно, и начать укреплять позиции за этим городом.
Получив сообщение о спешном отступлении к Вязьме, князь Багратион немедленно написал Михаилу Богдановичу:
«Я уже сего утра приказал графу Сен-При объявить Ермолову, что я на все согласен».
Он уверял, что его желание «сходственно» с желанием Барклая и что должно «иметь ту единственную цель защищать государство и, прежде всего, спасти Москву», но при этом он отмечал, что «отступление к Дорогобужу уже все привело в волнение».
Свое письмо он завершал следующими словами: «Когда узнают, что мы приближаемся к Вязьме, вся Москва поднимется против нас».
Князь Багратион уверял Барклая, что он «на все согласен», но в тот же день докладывал графу Ф. В. Ростопчину в Москву:
«Вообразите, какая досада, я просил убедительно министра, чтобы дневать здесь, дабы отдохнуть людям, он и дал слово, а сию минуту прислал сказать, что Платов отступает, и его армия тотчас наступает к Вязьме. Я вас уверяю, приведет к вам Барклай армию через шесть дней. Милорадович не успеет соединиться с нами в Вязьме, ему семь маршей, а мы завтра в Вязьме, а неприятель за нами один марш».
Биограф П. И. Багратиона Е. В. Анисимов отмечает тот факт, что князь «был более чуток к настроениям в армии и вообще к общественным веяниям». Естественно, это «обостряло его ощущения». А в армии в это время зрел «генеральский заговор» против военного министра, и князь Багратион был искренне уверен, что выражает мнение всей армии. Это, к сожалению, еще больше «обостряло его ощущения», тем более что император Александр упорно «не воспринимал Багратиона как крупного полководца».
Известно, что крайне критически высказывался по поводу Барклая де Толли генерал Н. Н. Раевский, генерал Д. С. Дохтуров говорил о нем как о человеке глупом, а атаман М. И. Платов однажды в узкой компании даже поклялся, что больше не наденет свой генеральский мундир, потому что носить его — позор.