В результате всего этого 4-я армия, на которую противник пока еще не оказывал сильного давления, попадала в чрезвычайно неприятное положение. Под влиянием ставшей совершенно реальной угрозы окружения командование 4-й армии, равно как и командование группы армий, снова выдвинуло требование о немедленном отводе армии за Мазурские болота. Разрешение на это было получено лишь 21 января, когда по сути дела армия уже была в кольце. Однако благодаря проводимой заранее подготовке к отходу армия под командованием генерала Госсбаха сумела немедленно отступить на запад, не испытывая никакого воздействия со стороны противника. И все же немцы опоздали. За истекшее время на фронте соседних армий сложилась настолько неблагоприятная обстановка, что удерживать новые позиции за болотами оказалось невозможным. Генерал Госсбах на свой собственный риск решил продолжать отход на запад с тем, чтобы соединиться со своими соседями и в случае необходимости прорваться к нижнему течению Вислы. Он надеялся, что ему удастся тем самым увлечь за собой остатки соседних армий — 3-й танковой и 2-й армий. Совершенно правильно оценивая обстановку, генерал Госсбах понимал, что всякое промедление в принятии данного решения приведет лишь к тому, что все три армии будут оттеснены на север и окажутся прижатыми к Балтийскому морю. 22 января генерал Госсбах отдал соответствующие приказы, даже не информировав о своем решении командование группы армий, а значит, и Гитлера. Он сделал это потому, что имел все основания опасаться вмешательства Верховного главнокомандования в его действия. 4-я армия форсированным маршем стала продвигаться на запад. Только 26 января русские разгадали замысел немцев и, сильно тесня армию, овладели Лётценом и Растенбургом. Первым об этом узнало командование группы армий, которое не хотело сдавать русским район Кенигсберга и не было целиком согласно с планом командующего 4-й армией. Оно поспешило отобрать у армии 2 выведенные ею с большим трудом в резерв дивизии и направило их на усиление 3-й танковой армии, занимавшей оборону восточнее Кенигсберга.
О том, что межозерные дефиле и Лётцен сданы без боя, Гитлер узнал позже, через партийные органы. Он немедленно снял командующего группой армий генерал-полковника Рейнгардта, который оправдывал действия генерала Госсбаха, и назначил на его место генерал-полковника фон Рендулича. Группа армий была переименована и стала называться группой армий «Север». Ей подчинялись теперь остатки 3-й танковой, 2-й и 4-й армий.
Между тем отход войск 4-й армии вследствие сильного нажима противника, особенно на ее правом фланге, в районе севернее Алленштейна, все еще продолжался. 29 января передовые части армии стали переходить в контратаки в западном направлении против противника, преградившего им путь движения. Тем временем русские подошли к Эльбингу и Мариенбургу и окружили их.
Атаки передовых частей 4-й армии вылились в общее наступление, которое поначалу было вполне успешным; войска овладели районом восточнее Эльбинга, Прейсиш-Холландом и Либштадтом. Было подбито много танков и захвачено несколько орудий противника. На следующий день в наступление должны были включиться еще более значительные силы, но в это время по предложению гаулейтера Коха генерал Госсбах был отозван, а на его место назначен генерал Ф.В. Мюллер. Успешно начатое наступление пришлось приостановить. В результате была упущена последняя возможность спасти немецкие силы, оставшиеся в Восточной Пруссии.
На фронте группы армий «А» (9-я армия, 4-я танковая армия, 17-я армия и 1-я танковая армия), которая называлась теперь группой армий «Центр» и командование которой с 20 января осуществлял генерал-полковник Шёрнер, обстановка продолжала ухудшаться самым неумолимым образом. Преодолевая сопротивление отдельных разрозненных боевых групп, русские неудержимо продвигались на запад. 25 января первые русские танки появились уже на подступах к Вроцлаву (Бреслау), а в это время на Одере остатки войск 4-й танковой и 9-й армий еще только приступили к созданию обороны. Кроме разбитых остатков обеих армий, были использованы запасные части, фольксштурм (ополчение) и несколько полицейских формирований, вооружение которых явно не соответствовало их задачам. Сохранить целостность фронта сумели только войска правого крыла группы армий, где действовали 1 — я танковая и 17-я армии. 17-я армия во время отхода была оттянута на северо-запад с задачей прикрыть Верхнесилезский промышленный район.
Закрепиться более или менее прочно немцы сумели только на Одере, к которому русские в конце января вышли южнее Бреслау, а через несколько дней и севернее него. А в районе Штейнау противник даже создал крупный плацдарм на левом берегу Одера.