Беспокоясь за центр, Гинденбург и Людендорф ожидали исхода сражения в штабе Шольца у деревни Фрёгенау, находящейся в двух милях от ещё меньшей деревушки с названием Танненберг. Приказы помечались «Фрёгенау». Людендорфа опять мучили опасения по поводу Ренненкампфа. Озабоченный положением корпуса Шольца, обозлённый на Франсуа и крайне недовольный очень «ненадёжной полевой телефонной связью», соединявшей его с этим непослушным командиром, не имея вообще никакой телефонной связи с корпусами Макензена и фон Белова на левом фланге, начальник штаба армии был «далеко не удовлетворён». Макензен и Белов, сбитые с толку противоречивыми приказами, требовавшими двигаться сначала в одном направлении, а потом в другом, отправили в штаб армии офицера на аэроплане, чтобы тот выяснил, что к чему. Посланца встретил «далеко не дружественный приём», поскольку ни один из корпусов не находился там, где должен был быть по плану. Ко второй половине дня, однако, оба продвигались уже вполне удовлетворительно: Макензен преследовал сломленное правое крыло русских, а фон Белов шёл к промежутку у Алленштейна, для удара по русскому центру. Теперь продвижение Франсуа казалось более оправданным, и Людендорф отдал ему приказ двигаться в том направлении, в каком командир корпуса уже действовал и без этого приказа.
И в тот момент, когда германский штаб начало охватывать приятное и тёплое предчувствие грядущей победы, вдруг пришло сообщение о том, что армия Ренненкампфа находится на марше, и сомневаться в этом не приходится. Но то расстояние, какое русские пока преодолели за день, внушало уверенность, что они опоздают. Действительно, когда находившийся ближе всех корпус Ренненкампфа разбил на эту ночь бивак, то от Бишофсбурга, где двумя днями ранее был разбит VI корпус Самсонова, его всё ещё отделяло 20 миль. Медленно двигаясь по вражеской территории, к концу следующего дня, 29 августа, Ренненкампф прошёл всего лишь около 10 миль на запад, а не на юг, и он до сих пор не установил контакта с Самсоновым. Этого сделать ему так и не удалось.
Поражение «славного I корпуса», на чьё сопротивление так надеялся Самсонов, вдобавок к разгрому VI корпуса на правом фланге предвещало конец. Оба фланга армии Самсонова были смяты; его кавалерия, единственное, в чём он превосходил немцев, развёрнутая слишком широко по флангам, не принесла в сражении пользы и в настоящий момент была изолирована. Подвоз боеприпасов и продовольствия, а также связь были в полном хаосе; сражаться продолжали только стойкие XV и XIII корпуса. В своём штабе в Нейденбурге он уже слышал грохот приближающихся орудий Франсуа. Самсонову казалось, что ему остаётся сделать только одно. Он телеграфировал Жилинскому, что выезжает на поле боя, а потом, приказав радиопередатчик и личные вещи отправить в Россию, оборвал связь с тылом. Причины принятого решения, как потом говорили, «он унёс с собой в могилу», но их нетрудно понять. Армия, которая была ему поручена, рассыпалась у него в руках. Он снова стал кавалерийским офицером и командиром дивизии и сделал то, что хорошо знал. В сопровождении семерых членов своего штаба, на лошадях, взятых у казаков, он ускакал в бой, чтобы лично командовать под огнём, в седле, где он чувствовал себя как дома.
Двадцать восьмого августа на окраине Нейденбурга он попрощался с майором Ноксом. Самсонов сидел на земле, окружённый своим штабом, и изучал карту. Встав, генерал отвёл Нокса в сторону и сообщил, что положение «критическое». Он сказал, что должность и долг призывают его быть с армией, но поскольку долг Нокса заключается в том, чтобы правильно информировать своё правительство о происходящем на русском фронте, то он советует ему возвратиться, «пока ещё есть время». Самсонов сел на коня и, повернувшись в седле, промолвил с задумчивой улыбкой: «Сегодня удача на стороне врага, в другой раз она будет на нашей», – и ускакал.
Позднее генерал Мартос, руководивший боем в своём секторе с вершины холма и только что приказавший отвести в тыл колонну пленных немцев, очень удивился, когда увидел командующего армией верхом в сопровождении штаба. Узнав, что уходящая колонна – пленные, Самсонов подъехал к Мартосу, нагнулся с седла, обнял его и сказал печально: «Вы один спасёте нас». Но он знал, как обстоят дела, и в ту же ночь отдал приказ об общем отступлении тому, что осталось теперь от 2‑й армии.