Группа №5, высадившаяся в запланированном пункте севернее города еще в 10:20 и не встретившая там особых проблем, в 10:40 получила приказ двигаться на юг, чтобы ударить в тыл противнику. Однако этот план не осуществился, так как с севера подошли немецкие патрули, высланные командиром батареи в Хальсёр. В стычке с людьми капитана Бирни противник потерял одного человека убитым, англичане потерь не понесли. Не видя смысла удерживать опасную позицию на голых камнях, Бирни вскоре отдал приказ эвакуироваться обратно на эсминцы.
В 11:00 подполковнику Дарнфорд-Слейтеру предложили помощь эсминцев, но он ее отверг. Тем не менее, по показаниям переживших бои немцев, эсминцы все же участвовали в битве еще во время своего движения на север, обстреливая огневые точки на холмах западнее города.
Пока в городе шли тяжелые бои, партии взрывников из 1-й и 2-й рот начали свою работу. Первым было обследовано здание рыбного завода рядом с местом высадки, где немедленно обнаружили спрятавшегося в комнате "главного квислингца" - хозяина завода. Он был взят в плен. Еще одна партия взрывников поднялась в холмы за городом, обследовав их вплоть до Хальнёсвика, а потом на север до дамбы маленькой гидроэлектростанции. Третья партия сначала выгружала взрывчатые материалы в укрытие, затем приступила к поиску запланированных к уничтожению зданий.
К 11:00 высадившаяся первой 2-я группа понесла тяжелые потери, разбилась на небольшие отряды под началом младших командиров (все старшие уже были убиты или ранены). Прогресс в ее наступлении был невелик. Тем не менее, начали постепенно прибывать подкрепления - сначала Янг со своими людьми, потом лейтенант Клементс и 1-я группа десантников со стороны Хальнёсвика. Занятые взрывными работами коммандос капитана Брэдли тоже должны были выделить для боев столько людей, сколько смогли бы.
Капитан Янг с половиной своей роты смог вскоре продвинуться вдоль самого берега - в немалой степени, с помощью огня эсминцев. Другие коммандос поддерживали наступление на остальном фронте, не давая немцам передышки. Подполковник Дарнфорд-Слейтер даже лично возглавил прибывшие подкрепления. Все это позволило переломить ситуацию в пользу англичан.
Прибывшая в город 4-я, резервная группа, состоявшая из двух рот 2-го отряда коммандос под началом капитана Хупера, была послана для усиления левого фланга. Центральная часть города наконец была очищена, немцы выдавлены на северную окраину и в холмы на северо-западе. Хотя они продолжали беспокоить коммандос своим огнем, взрывники уже могли выполнять задачи по уничтожению всех нужных объектов. В гараже был обнаружен танк, о котором говорила разведка, его тут же начали готовить к подрыву.[* Трудно сказать, что это была за машина. В немецких документах она никак не упоминается. Скорее всего, это неучтенный танк из трофеев, захваченных у норвежцев - немцы их использовали как трактора или в учебных целях.] Видно, машина им показалась слишком уж грозной и коммандос переборщили со взрывчаткой. В результате один человек был убит, второй ранен.
В 11:45 Дарнфорд-Слейтер вернулся на место высадки, в свой штаб, чтобы доложить об успехах на флагман. Затем подполковник опять отправился вперед и добрался до импровизированного штаба Янга, организованного в большом доме на северном краю улицы. К 12:30 Дарнфорд-Слейтер смог доложить, что сопротивление немцев почти закончилось, однако не мог сообщить, сколько времени займет выполнение всех задач. Штаб к тому времени был озабочен тем, что большинство десантных катеров оказались разбросанными по проливу, перевозя раненых, эвакуирующихся в Англию норвежцев и пленных. К тому же, в воздухе наконец появились немецкие бомбардировщики, а это заставляло корабли прекращать прием людей и маневрировать для отражения налетов. Все это предполагало, что и эвакуация займет много времени, так что Хейдон предложил Барроу начать ее немедленно. Адмирал согласился; соответствующий сигнал был подан в 12:50.
Дарнфорд-Слейтер созвал небольшое совещание с командирами в центре города и отдал приказ на отход. Капитану Янгу приказали уничтожить последнюю уцелевшую к тому моменту фабрику ("Фрида") и в 13:10 начать отступление. Первыми отходить должны были бойцы 4-й группы. По пути они обязаны были отыскать всех раненых и забрать документы с трупов. Во втором эшелоне отступала 1 -я группа, а арьергард составила 6-я рота 3-го отряда коммандос. В то же время 5-я группа севернее Молё тоже получила приказ начать обратную посадку на "Ориби".