Фридрих с облегчением отвлекся от трудов, чтобы посмотреть на мусульманские святыни. Султан тактично приказал муэдзинам Аль-Аксы не призывать верных на молитву, пока христианский государь находится в городе. Но Фридрих воспротивился. Пусть мусульмане не меняют своих обычаев из-за него. Кроме того, сказал Фридрих, он как раз и приехал в Иерусалим, чтобы послушать вечерний призыв муэдзина. Войдя на священную площадь Аль-Харам-аш-Шариф, он заметил христианского священника, который шел за ним. Он сам тут грубо выгнал его и приказал казнить любого христианского священника, который ступит туда без разрешения мусульман. Обходя вокруг «Купола скалы», он заметил надпись, сделанную Саладином в мозаике на куполе в память от очищения его от многобожников. «Кто же эти многобожники?» — спросил император с улыбкой. Он обратил внимание на решетки на окнах, и ему сказали, что решетки нужны, чтобы не пускать внутрь воробьев. «Теперь Господь послал вам свиней», — сказал он, употребив грубое слово, которым мусульмане называли христиан. В свите у него было несколько мусульман, и среди них его учитель по философии, сицилийский араб.
Император заинтересовал мусульман, но не произвел на них большого впечатления. Его внешность их разочаровала. Они сказали, что за него не дали бы и двух сотен дирхемов на невольничьем рынке, с его гладким румяным лицом и близорукими глазами. Их обеспокоило то, как он отзывается о собственной же вере. Они могли уважать честного христианина, но франк, который поносит христианство и расточает грубые комплименты исламу, вызывал у них подозрения. Возможно, до их ушей дошли слова, которые все приписывали Фридриху, что и Моисей, и Христос, и Магомет — все это трое самозванцев. Так или иначе, он казался безбожником. Просвещенный Фахр ад-Дин, с которым он часто вел философские беседы во акрском дворце, пал жертвой его очарования, да и султан аль-Камиль, склонный, как и Фридрих, к размышлениям, смотрел на него с привязанностью и восхищением, особенно когда Фахр ад-Дин передал его доверительные слова о том, что он ни за что бы не стал настаивать на передаче Иерусалима, если бы на кону не стояла вся его репутация. Но набожные мусульмане и набожные христиане одинаково косо смотрели на весь этот эпизод. Нескрываемым цинизмом сердца людей не завоевать.
В понедельник 19 марта прибыл епископ Кесарийский, чтобы наложить папский интердикт на Иерусалим. Придя в бешенство из-за такого оскорбления, Фридрих сразу же прекратил всякие работы по устройству обороны города и, собрав всех своих людей, спешно уехал в Яффу. Там он задержался лишь на день, потом двинулся по побережью в Акру, куда прибыл 23-го числа. Оказалось, что Акра кипит недовольством. Бароны не могли простить его за попрание конституции: будучи всего лишь регентом, он заключил договор без их согласия и возложил корону на себя. Между местными рыцарями и императорским гарнизоном вспыхивали стычки. Генуэзцы и венецианцы возмущались из-за милостей, которые выказали пизанцам, чей город был одним из немногих постоянных союзников Фридриха в Италии. Возвращение императора лишь обострило разгоряченную атмосферу.
На следующее утро Фридрих созвал к себе представителей всего королевства и дал им отчет о своих действиях. Его слова встретили с гневом и неодобрением. Тогда он прибегнул к силе. Он взял в плотный кордон патриарший дворец и штаб-квартиру тамплиеров и поставил стражу у ворот города, чтобы никто без его разрешения не мог ни войти, ни выйти. Ходили слухи, что он хотел конфисковать великую крепость тамплиеров в Атлите, но узнал, что в ней слишком сильный гарнизон. Он обдумывал, не похитить ли Жана Ибелина и Великого магистра тамплиеров и отправить их в Апулию, но у обоих была хорошая охрана, и он не осмелился пойти на это. Между тем он получил неприятные новости из Италии, где его тесть Жан де Бриенн вторгся в его владения во главе папской армии. Фридрих больше не мог надолго откладывать свой отъезд с Востока. Без дополнительных войск, помимо тех, которыми он владел в Сирии, он не мог сокрушить своих противников. Поэтому он пошел на компромисс. Он объявил о своем скором отъезде и назначил бальи королевства Балиана Сидонского и Вернера фон Эгисхайма по прозвищу Гарнье Немец. Балиан был известен умеренными взглядами, а его мать происходила из Ибелинов. Гарнье, несмотря на свое германское происхождение, был лейтенантом короля Жана де Бриенна. Одо де Монбельяр остался коннетаблем королевства, стоя во главе всей его армии.
Эти назначения, по сути дела, свидетельствовали о провале императора. Он знал, что проиграл, и, чтобы избежать унизительных сцен, решил тронуться в плавание 1 мая на рассвете, когда рядом никого не будет. Но отъезд не удалось сохранить в тайне. Когда он со свитой шел по улице Мясников к гавани, люди высыпали на улицу и закидали его потрохами и навозом. Жан Ибелин и Одо де Монбельяр услышали гомон и подъехали, чтобы восстановить порядок. Но когда они любезно прощались с императором на его галере, в ответ он буркнул ругательство.