Согласно всем свидетельствам, новый халиф имел твёрдую волю и никогда не терялся перед неожиданностями. Уже в своей первой речи после принесения ему присяги он сказал: «Воистину, арабы похожи на верблюда с проколотым носом, который следует за своим поводырём, а его поводырь не видит, куда вести, а уж я, клянусь Господом Каабы, выведу их на истинную дорогу». И это была правда. Новая историческая ситуация, в которой оказалось арабское общество после начала эпохи великих завоеваний, требовала правителя с широкими взглядами и нестандартными подходами к происходящему. Умар был именно таким человеком. Мусульманская традиция рисует его благочестивым, мудрым, всеведущим и деятельным государем. Днём он постоянно занимался делами управления, а ночью молился, так что у его подданных создавалось впечатление, что халиф никогда не спит. Вместе с тем, подобно своему предшественнику, Умар был очень скромен в пище и одежде и никогда не придавал значения наружному блеску и утехам жизни. Он обладал строгой нелицеприятной справедливостью (пишут, что халиф всегда носил с собой бич, которым собственноручно наказывал нарушителей шариата), прозорливостью в делах и счастливым умением выбирать себе способных помощников.
Завоевательные походы получили при Умаре новый, невиданный дотоле размах. Ещё в правление Абу Бакра Халифат начал успешную борьбу с двумя своими могущественными соседями — Византией и Сасанидским Ираном. Но война тогда шла без особого плана и без ясно обозначенной цели. Фактически её вели на свой страх и риск отдельные полководцы. При новом халифе завоевание было подчинено твёрдой центральной воле. Медина превратилась в штаб, где тщательно изучались донесения военачальников и откуда исходили для них точные распоряжения. Умар постоянно был занят формированием и оснащением новых воинских отрядов, готовых в любой момент поддержать резервами того из полководцев, который в этом нуждался. Среди пяти или шести театров боевых действий основными поначалу были два — византийская Сирия и иранский Ирак.
Завоеванием Сирии руководил Халид ибн ал-Валид, который ещё в годы правления Абу Бакра нанёс византийской армии несколько крупных поражений. Осенью 635 года он овладел Дамаском, продвинулся на север Сирии и заставил капитулировать главный город этой области Баальбек. В декабре судьбу Баальбека разделили Хомс (Эмесса), Хама (Эпифания) и Шейзар (Лариса). Однако весной 636 года, когда халиф сместил Халида и поставил во главе сирийской армии Абу Убайда, византийцы перешли в наступление, так что в мае мусульмане без боя оставили Дамаск и Хомс. В августе 636 года противники встретились при Йармуке, неподалёку от Тивериадского озера. Здесь произошёл последний решительный бой, продолжавшийся три дня. С немалым трудом, потеряв до 4 тысяч убитыми, арабы одержали победу. Потерпевший поражение император Ираклий отказался от активной борьбы и уехал из Антиохии в Константинополь, предоставив оборону Сирии отдельным гарнизонам. Эта тактика была заранее обречена на неудачу. Уже в ноябре Абу Убайд вернул Дамаск, после чего без сопротивления пали все города между Хомсом и Кинаорином. В начале 638 года мусульманская армия вышла в долину Оронта и после недолгой осады овладела Антиохией. В 639 году была завоёвана Джазира (Осроена) с городами Рухой (Эдессой), Харраном и Сумайсатами (Самосатой). Овладев вслед за тем Дарой, арабы из Джазиры проникли в Армению. Эта провинция формально была разделена между Ираном и Византией, но фактически находилась во власти своих владетельных князей нахаров. Те постоянно враждовали друг с другом и не смогли объединиться даже перед лицом общего врага. К 641 году была завоёвана юго-восточная часть Армении до озёр Ван и Севан. Затем арабы взяли штурмом армянскую столицу Двин.