По плану операции, разработанному Цудзи, отряды Комацубары и Ясуоки должны были окружить советско-монгольские войска, поймать их в ловушку и уничтожить у слияния Халхи и Хольстена. Но сильное сопротивление противника, особенно его танков и артиллерии, сделало реализацию этого плана невозможной. Комацубара оказался в опасном положении - его силы были разделены рекой, а между ними находилась сильная группировка противника. Это была классическая военная дилемма, и японцы поняли, что если они не будут действовать быстро, их ждет катастрофа. Вечером 3 июля генерал Яно, полковник Хаттори и майор Цудзи собрались на совещание с генералом Комацубарой и офицерами его штаба. Они пришли к единодушному решению, что войска Комацубары следует как можно скорее отвести на восточный берег Халхи. Что это необходимо сделать срочно, подчеркивал тот факт, что у Квантунской Армии больше не было оборудования для наведения понтонных мостов. И если японский понтонный мост будет захвачен или уничтожен, войска Комацубары на западном берегу Халхи будут изолированы на вражеской территории и окажутся под угрозой полного уничтожения. Советская артиллерия и авиация уже обстреливали японский мост, но к наступлению ночи он все еще оставался невредим.
Отступление следовало провести быстро, желательно до рассвета. Также было принято важное для генерала Комацубары решение, что ввиду неожиданной для штаба Квантунской Армии силы войск противника, на Комацубару не будет возложена ответственность за неудачу наступления. Конечно, сила советских войск не должна была оказаться неожиданной для штаба Квантунской Армии с учетом превосходства в воздухе японской авиации, особенно 450 советских танков и бронеавтомобилей. Но с этим следовало разбираться уже после боя. В тот момент японским старшим офицерам необходимо было сосредоточить все усилия на том, чтобы избежать разгрома.
К счастью для Комацубары, Жуков был захвачен врасплох дерзкой переправой японцев через реку, и не сразу заметил уязвимость их положения. Ночью 3-4 июля Жуков все еще думал о том, как отразить наступление противника, а не о том, как окружить и уничтожить его.
Комацубара приказал своим войскам приготовиться отступать через Халху ночью. 26-й полк 7-й дивизии под командованием полковника Суми Синитиро, наименее пострадавший в бою, получил приказ оборонять Баин-Цаган и прикрывать отступление понесших большие потери 71-го и 72-го полков. К рассвету 4 июля эти два обескровленных полка переправились по понтонному мосту и сосредоточились на высотах Фуи. Но 26-й полк не успел вовремя отступить со своей позиции прикрытия. Когда советские войска обнаружили, что главные силы японцев отступают обратно через реку, они с еще большей интенсивностью усилили натиск на 26-й полк. Солдаты полковника Суми оказались в очень тяжелом бою, не имея возможности оторваться от противника и отступить через реку. 26-й полк понес большие потери, но отразил все атаки советских войск. Высота Баин-Цаган, на которой укрепились солдаты полковника Суми, представляла собой сильную оборонительную позицию. Японский понтонный мост чудесным образом оставался невредимым под обстрелами советской артиллерии и налетами авиации в течение дня, но эта ситуация в любой момент могла измениться.
Днем 4 июля Жуков подтянул несколько батарей тяжелой артиллерии, которые вскоре начали обстреливать войска Комацубары на высотах Фуи. Это были 152-мм орудия германского производства фирмы "Рейнметалл", полученные Красной Армией за годы сотрудничества с Веймарской Германией. Их дальнобойность достигала 20 000 ярдов, более чем в два раза превосходя немногочисленные 150-мм орудия Комацубары. У японцев не было возможности ответить на этот обстрел. Им оставалось лишь рыть окопы глубже, стоически переносить потери и ждать наступления ночи.
Когда наступила темнота, давление советских войск несколько уменьшилось. Хрупкий понтонный мост был все еще цел, и 26-й полк, хотя и сильно уменьшившийся, все еще держал оборону на Баин-Цагане. Майор Цудзи, предыдущей ночью сопровождавший Комацубару и его штаб при отступлении на восточный берег Халхи, теперь снова вернулся по мосту на западный берег, чтобы помочь полковнику Суми отвести 26-й полк за реку. В предрассветные часы 5 июля последние солдаты полковника Суми достигли восточного берега. Цудзи был одним из последних перешедших по мосту, после чего он проследил, чтобы мост взорвали. Японские саперы имели большой опыт в подрыве мостов, но в первый раз японской армии приходилось взрывать собственный мост после отступления по нему.