Между тем для всех в самолетах места не хватило и некоторым, включая его самого, пришлось остаться в Каламате. Через какое-то время их посадили на большое рыболовецкое судно, предназначенное для эвакуации солдат, и повезли на остров Киринья, однако при подходе к острову они попали под сильную немецкую бомбардировку. Пришлось прыгать в воду и добираться до берега вплавь. Ни оружия, ни одежды, чтобы переодеться, ни еды у них с собой не было, но, на счастье Йоси, у него в карманах завалялось четыре плитки шоколада, и в течение двух дней, пока за ними не пришли два эсминца, он питался этими шоколадками. На эсминцах их отвезли на Крит, а позднее переправили в другое место. Через два дня после того, как они покинули Крит, остров захватили немецкие десантники и те, кого не успели вывезти, попали в плен.
Бомбардировка в море была очень сильной, и от ударной волны у Йоси в правом ухе лопнула барабанная перепонка, в результате чего он навсегда на это ухо оглох. Кроме того, в ухе началось воспаление и Йоси мучили сильные боли, поэтому ему дали неделю отпуска. Однако вместо того, чтобы обратиться в больницу, он поехал в Тель-Авив и сразу же по прибытии отправился в кафе «Атара» — «штаб-квартиру» Ицхака Садэ. Садэ посмотрел на него так, словно они только что расстались, и сказал:
— Хорошо, что ты вернулся. Поедешь со мной в Хайфу. Жаль, что ты не явился два дня назад. Мы возобновили сотрудничество с англичанами, и нам предложили провести операцию на нефтеперерабатывающем заводе в Триполи. Мы послали туда катер «Морские львы» с двадцатью тремя бойцами. Я хотел назначить командиром тебя, потому что Цви Спектор был ранен, но тебя здесь не было, и мне ничего не оставалось делать, как назначить его.
Они отправились в Хайфу, поселились в гостинице на горе Кармель и всю ночь смотрели в бинокль на противоположный берег залива, ожидая, что вот-вот увидят в море катер Спектора, однако тот так и не появился. Он бесследно пропал, и судьба его до сих пор неизвестна.
Исчезновение Спектора Йоси пережил очень тяжело. Как когда-то в детстве, он снова ощутил тяжелую утрату. Ему не давала покоя мысль, что человек, которого он так любил, погиб вместо него. Он жалел, что в нужную минуту не оказался на месте, и испытывал чувство вины. Правда, он загнал это ощущение глубоко внутрь, никогда не говорит о нем, однако оно сопровождает его всю жизнь.
Через неделю, когда отпуск закончился, его грузовик в составе колонны был отправлен на Кавказский фронт, на помощь Красной армии. Поездка по пустыне продолжалась четыре дня. Но когда Йоси во главе колонны прибыл в Багдад, приказ следовать на Кавказ был отменен, и его послали в Сингапур воевать с японцами. Однако в последний момент и этот приказ отменили — Йоси снова отправили в Ливийскую пустыню, где в то время вела наступление армия немецкого фельдмаршала Эрвина Роммеля. Что же касается Сингапура, то туда послали другой полк, однако через три дня после его прибытия Сингапур пал и полк в полном составе попал в японский плен.
Йоси снова подал прошение определить его на бомбардировщик, но опять получил отказ.
Тем временем ухо у него продолжало гноиться и болеть, и врачи решили отправить его в Газу на операцию, однако он отказался. После исчезновения Спектора ему хотелось вернуться домой. Он подал прошение о демобилизации по ранению, и оно было удовлетворено. Перед демобилизацией его наградили медалью.
В конце 1941 года Йоси явился в штаб «Хаганы» в Тель-Авиве. Об истории с его дезертирством было решено забыть.
Среди еврейского населения Палестины, более трети которого к тому времени составляли беженцы из нацистской Германии, царил страх, граничивший с паникой. Роммель захватил весь север Африки, и его армия быстро продвигалась по Ливийской пустыне; англичане отступали, а по радио то и дело звучали торжествующие и хвастливые заявления немецких военачальников. Фактически единственным буфером между немцами и Палестиной оставалась теперь английская армия в Египте. Причем, как и большинство других арабов, арабы Египта были на стороне немцев и хотели, чтобы Англия потерпела поражение.
В Палестине хорошо понимали, что произойдет, если маленький еврейский ишув, окруженный со всех сторон пронацистски настроенными арабами, попадет в руки немцев. Никакого шанса на спасение в таком случае не было, и люди с ужасом представляли себе ожидавшую их резню. Тем не менее страхом были парализованы далеко не все: находились люди, которые пытались организовать оборону. В частности, в «Хагане» был разработан план под названием «Масада на Кармеле». В рамках этого плана началась подготовка к возможной, пусть даже и безнадежной, войне с немцами, и Йоси сразу же после его возвращения в ряды «Хаганы» было поручено заняться подготовкой молодых бойцов. Курсы подготовки бойцов стали составной частью операции, которая получила название «Муса-Даг в Палестине».