Пока Халид и одна орда фанатиков-сарацин штурмовала персидскую границу на Нижнем Евфрате, другая, под командованием Абу Убайды, напала на восток Сирии. Басра, первый город на краю пустыни, пал в результате предательства. Маленькая армия под командованием патриция Сергия была разгромлена, и правители Сирии и Палестины обратились за помощью к императору. Едва ли до конца понимая опасность кризиса, Ираклий послал небольшое подкрепление под командованием его брата Феодора на помощь местным войскам. Эта армия на несколько месяцев задержала мусульман, и халиф счел необходимым укрепить арабов Сирии, отправив туда половину сил, вторгшихся в Персию, и Халида ибн аль-Валида, «Меч Аллаха», самого ужасного и кровожадного из всех главарей фанатиков. В июле 634 года армия Феодора была разгромлена сарацинами в районе Аджнадайна, недалеко от Габаты, за Иорданом. Эта неудача обеспокоила императора. Он послал дополнительное подкрепление, и в 634 году состоялась битва у Ярмука (эллины именовали эту реку Иеромукос), решившая судьбу Сирии. После долгого и ожесточенного сражения, во время которого войска империи в один из моментов сумели оттеснить арабов обратно в лагерь, но все же были сметены фанатичным натиском арабов, которые предпочитали смерть поражению. Арабские командиры постоянно поддерживали воинов криками, что впереди их ждет рай. В конце концов арабы сломили уставших римлян и обратили их в паническое бегство. Римляне отступали по скалам и утесам, и многие погибли, падая со скал вниз.
На Ярмуке армия востока была практически уничтожена, и, прежде чем успели собрать другую в Дамаске, величайший город восточной Сирии был захвачен противником, который, несмотря на капитуляцию в 635 году, убил большую часть населения.
Ираклий снова решил возглавить римскую армию лично, но это был уже не тот человек, который провел шесть долгих кампаний старой персидской войны. Ему было далеко за пятьдесят, и он уже ощутил первые симптомы водянки, от которой впоследствии умер. В личной жизни у него тоже были серьезные проблемы. Его второй брак — он женился на дочери собственной сестры Мартине — был неудачным и греховным. Юная императрица конфликтовала со всеми членами семьи, желая во что бы то ни стало заставить супруга сделать своего сына Ираклона наследником империи вместе со старшим сыном императора Ираклием Константином. В общем, Ираклий снова надел броню и провел 635–636 годы в Сирии, пытаясь сдержать арабов. Его крах был полным. Города один за другим оказывались в руках мусульман, а император даже не мог дать бой в их защиту. В 636 году, сломленный болезнью, он вернулся в Константинополь, предварительно нанеся короткий визит в Иерусалим, откуда забрал Истинный Крест, который сам же с триумфом вернул туда шестью годами раньше.
После ухода Ираклия из Сирии положение все больше ухудшалось. Антиохия, оплот и столица северной Сирии, и Иерусалим, центр обороны Палестины, пали в 637 году. Чтобы принять капитуляцию Иерусалима, который Мухаммед поставил на второе место после Мекки по святости, халиф Умар лично пересек пустыню. Когда город был взят, араб заставил патриарха Софрония лично провести его по городским святыням. Когда они стояли в храме Святой Софии, патриарх, охваченный горем, воскликнул, что «на крыле святилища», как и предупреждал пророк Даниил, наступила «мерзость запустения». Умар проявил больше сдержанности и сочувствия. Он оставил христианам все их святые места, довольствовавшись постройкой большой мечети на месте храма Соломона.
Сирия медленно, но верно переходила к сарацинам. А судьба Персии была еще хуже. После трехдневного сражения при Кадисии империя Сасанидов пала перед арабским мечом. Ее столица Ктесифон была разграблена и уничтожена, а Йездигерд, последний персидский шах, бежал на восток, чтобы еще раз собрать армию на берегах Оксуса и Мургаба (636). Арабские орды, двигавшиеся вверх по Евфрату, атаковали римскую провинцию Месопотамия с юга в тот самый момент, когда завоеватели Сирии напали на нее с запада. Ираклий сделал еще одну попытку захватить север Сирии и Месопотамию: он послал армию под командованием его сына и наследника Ираклия Константина, чтобы та сделала попытку вернуть Антиохию. После первых незначительных успехов юный цезарь потерпел сокрушительное поражение при Эмесе и ушел со сцены, оставив Месопотамию со всеми ее испытанными временем крепостями — Дарой, Эдессой и Амидой — несокрушимому врагу. Это было в 638–639 годах. С падением Кесарии в 640 году восточные римляне лишились последнего плацдарма к югу от Тавра, и Малая Азия осталась открытой для вторжения.