В январе 1192 г. военный совет армии принял решение, очевидно, предварительно согласованное с Ричардом, осады Иерусалима не начинать, отойти к побережью и восстановить Аскалон. 13 января армия отправилась в обратный путь. Отчаяние овладело паломниками. Амбруаз описывает дорогу назад: «Тяжело нагруженные, шли они по колено в грязи, их ноги подкашивались, и они падали. Они ругались, как будто шли к дьяволу в ад. И это — правда, никогда порядочные люди не были так унижены… Среди людей была масса больных, и их бросили бы на пути, не будь английского короля, который заставлял их разыскивать, так что их всех собрали и привели».
В Рамле от армии отделились французы во главе с герцогом Бургундским. Они двинулись на Яффу, а некоторые еще дальше, на Акру и Тир. Поредевшая армия из Рамлы направилась в Аскалон, куда пришла 20 января. Город представлял груду развалин. Немедленно Ричард приступил к его восстановлению. Амбруаз пишет: «Король с обычным великодушием участвовал в работе, и бароны ему подражали». Аскалон быстро поднимался из руин. Были отправлены посланцы к герцогу Бургундскому и уговорили его именем Бога присоединиться к армии. Он прибыл в Аскалон, впрочем, ненадолго. Когда Ричард отказался выдать ему новый заем, герцог отправился в Акру Тогда же французы известили Ричарда, что хотят покинуть армию. Формально они имели на это право: уезжая, король Филипп оговорил срок обязательного участия французов в крестовом походе 1 апреля 1192 г. Уговоры ни к чему не привели. Ричард потребовал у герцога вернуть 1500 фунтов. Так как денег у герцога не было, он должен был отдать Ричарду в залог коменданта Акры Каракуша. При заключении мира за Каракуша был заплачен выкуп в 80 тысяч динаров (14 тысяч марок). Находившегося у Ричарда аль-Маштуба выкупили за 50 тысяч динаров. Ричард распорядился в Акру французов не пускать, и они прибыли в Тир.
Свою оставленную ему королем Филиппом часть Акры Конрад Монферратский так и не получил. Французская военная администрация также покинула город. В Акре было неспокойно. Бесконечные распри между пизанцами и генуэзцами переросли в вооруженный конфликт. К началу конфликта у ворот Акры оказался герцог Гюг, а у входа в гавань — галеры Конрада Монферратского. Пизанцы не пустили в город Гюга, обстреляли корабли Конрада и позвали на помощь Ричарда. Призыв о помощи застал его в Цезарее, недалеко от Акры. Узнав о прибытии Ричарда в Акру, Гюг и Конрад немедленно отступили в Тир. Ричард, примирив пизанцев и генуэзцев, оставался в Акре шесть недель и вернулся к армии в Аскалон перед Пасхой. В его отсутствие восстановлением города руководил Жофруа де Лузиньян, граф Яффы и Аскалона. На один день, в воскресенье 5 апреля, Ричард разрешил оторваться от работ по возведению города, чтобы отпраздновать Пасху. Несмотря на то что армия уменьшилась, Ричард постоянно высылал разведывательные группы на юг, к Дарону и Газе, а также отряды в глубь страны на перехват египетских караванов, идущих в Иерусалим. Одновременно продолжались раздельные переговоры Ричарда и Конрада с Салах ад-Дином.
15 апреля прибыл из Англии приор монастыря в Херефорде Роберт с вестями о том, что принц Иоанн учиняет смуту в Англии, канцлер короля Гийом Лоншан выгнан из Англии, несколько его сторонников убиты и в казне короля больше нет денег. Пора было думать о возвращении домой. Ричард забросил пробный шар: он возвращается, кто хочет, может вернуться вместе с ним, кто хочет, может остаться. Ответ был единодушный: уедут все, если в Палестине не будет приемлемого для всех короля.