Впрочем, ему досталось тяжёлое и незавидное наследство. Феофан говорит, что Ираклий, взойдя на престол, нашёл совершенный упадок в управлении: Европу опустошали авары, всю Азию заняли персы. Множество народу было пленено, а войско истреблено в сражениях. Глядя на это, Ираклий был в недоумении и не знал, что ему делать. Наибольшую угрозу для византийцев представляло персидское нашествие. В 610 году персы взяли Апамею, Эдессу и дошли до Антиохии. В 611 году Антиохия пала, а в следующем — враги овладели Мелитиной. В 614 году Палестина добровольно покорилась шаху. После короткой осады персы взяли Иерусалим и устроили здесь трёхдневную резню. Более 17 тысяч человек погибло. Персы захватили в плен патриарха Захарию и увезли древо Животворящего Креста. В 616 году персидский полководец Шахин захватил и поработил весь Египет, многих увёл в неволю, других умертвил беспощадным образом. Вследствие истощения Египет перестал снабжать хлебом столицу, и здесь случился сильный голод. К тому же началась заразная эпидемия. Одновременно в Испании короли вестготов отнимали у византийцев одно владение за другим. В начале 620-х годов в их руках остались только Балеарские острова. Угнетаемый всеми этими бедствиями, Ираклий велел грузить на корабли казну, собираясь плыть в Африку, но народ, когда узнал об этом, воспротивился бегству императора. Патриарх же призвал его в храм и связал клятвами, убеждая, насколько возможно, чтобы он не покидал столицы. Уступая им, Ираклий остался в городе, хотя и с большой неохотой.
В 621 году император объявил о своём намерении лично возглавить борьбу против персов. Весь синклит одобрил этот план. В апреле 622 года Ираклий перебрался из Константанополя в Пилы, расположенные южнее Никомедии, чтобы продолжать путь на кораблях. К набранному в провинциях войску он присоединил новобранцев, начал упражнять их и приучать к военным действиям. Воинам он поклялся, что будет с ними в трудах и сражениях и разделит с ними все опасности, как с собственными детьми. Весь 622 год был занят формированием и тренировкой армии. Лаской и строгостью Ираклий в конце концов добился того, что из множества разобщённых воинов, в которых он нашёл поначалу только робость, беспорядок и неустройство, собралось как бы единое и крепкое тело. Осенью византийцы вступили в Каппадокию, зиму провели в Понте, а в апреле 623 году, вместо того чтобы идти на персидскую столицу Ктесифон, как этого ожидал шах Хосров II, Ираклий со своим войском повернул на север, в кавказские владения персов — через Армению вторгся в персидскую провинцию Антропатену, взял Карин (Эрзерум), Двин, Нахичевань и Гандзак (Гянджу). Отсюда он отступил в Албанию и захватил её столицу Партав. Весной 624 года персы заняли теснины, ведущие из Албании в Персию. Но Ираклий избрал более длинный путь через долины. Шах выслал навстречу императору ещё две армии — Шахрабараза и Шахина. Шахрабараз преградил путь византийцам, а Шахин разбил лагерь у них в тылу. Ираклий, не дав им соединиться, напал сначала на Шахина, разбил его у местечка Тигранакерт и стал отступать из Албании в Армению. Шахрабараз присоединил остатки войск Шахина и бросился за ним в погоню. Византийцы вновь отошли к Нахичевани, а затем в Апахунию к берегам озера Ван. Зиму они провели в Армении к северу от озера Ван, а весной 625 года Ираклий через Тавр вторгся в Сирию к верховьям Тигра и городу Аминда. Шахрабараз шёл за ним по пятам, чиня всякие препоны. Тогда Ираклий резко сменил направление и стал отступать к Понту. Персы, вообразив, что римляне бегут от робости, преследовали их в полном беспорядке. Заманив таким образом врагов на удобную позицию, император внезапно развернулся, бросился на них, когда они меньше всего этого ожидали, и нанёс новое поражение.