Именно так и произошло. Вскоре после ухода с губернаторства Монро был направлен Джефферсоном в любимый ими обоими Париж, на этот раз для ведения переговоров с Бонапартом о покупке района вокруг города Новый Орлеан, что привело к расширению рамок сделки и дешевому приобретению США огромной Луизианы.
Как выяснилось, дипломатические способности Монро оказались немалыми. Президент решил оставить его в Европе в качестве посла в Великобритании и своего специального представителя при Дворе испанского короля. Правда, при этом не все действия посла получали одобрение главы государства. В 1806 г. Монро удалось прийти к соглашению с британскими представителями о новом договоре (он известен как договор Монро — Пинкни, так как в переговорах участвовал в качестве второго посла еще один американский представитель Джеймс Пинкни). Обоим дипломатам казалось, что они добились выгодного для США результата. Договор провозглашал дружбу между обоими государствами на ближайшее десятилетие и выгодные для американцев условия торговли. Однако англичане оказались неуступчивыми по вопросу о преследовании пиратства в открытом море (подчас британские военные корабли совершали нападения на американские суда, а затем объявляли эти нападения действиями пиратов), отказались обсуждать вопрос о захвате американцев, которых они принуждали затем служить в британском флоте. Получив текст договора, Джефферсон не был удовлетворен уступчивостью своих представителей. Он отказался представить договор на утверждение Конгресса, а сам Монро в 1807 г. был отозван из Лондона.
Дело шло ко второй англо-американской войне, которая разразится в 1812 году. Монро был глубоко разочарован тем, что президент не оценил должным образом его дипломатические усилия, и тем, что договор, который он считал приемлемым для США, был отвергнут. Монро считал, что влияние на Джефферсона оказал Мэдисон, который действительно был ближайшим советником президента, особенно во внешнеполитических делах. Между друзьями возникла ссора. Сам же Джефферсон занял сомнительную позицию. Собираясь в отставку после второго президентства, он явно видел своим наследником именно Мэдисона. Но стремясь продемонстрировать свое доброе отношение к Монро, несмотря на отказ утвердить подписанный им договор, он предложил ему также выдвинуть свою кандидатуру.
Последовав рекомендации президента, Монро совершил этот довольно спорный шаг. Однако на своем предвыборном кокусе Демократическо-республиканская партия поддержала Мэдисона. Монро и его сторонники не признали результатов голосования и отказались снять его кандидатуру. Ни единого места в коллегии выборщиков его сторонники не получили. Президентом был избран Мэдисон.
Возвратившись в свой штат, Монро вновь был избран губернатором. Но на этот раз губернаторство оказалось кратким. Политические соображения и у нового президента, и у нового губернатора взяли верх над взаимными обидами, и когда в начале 1811 г. Мэдисон предложил Монро пост государственного секретаря, тот без каких-либо колебаний дал свое согласие. На этой должности он оставался до конца президентства Мэдисона, два раза занимая в дополнение к руководству международными делами в течение краткого времени должность военного секретаря. В этом качестве он непосредственно не руководил военными операциями, но поддерживал контакт с генералами и всячески пытался повернуть ход войны с Великобританией в более благоприятную для США сторону.
Хотя он отлично понимал, что выдвижение его на президентский пост в 1808 г. было связано с политическими интригами и что он не имел реальных шансов на победу, кампания того года вызвала у Монро противоречивые чувства. Нельзя сказать, что он тяжко переживал свою неудачу (иначе он вряд ли согласился бы на пост в кабинете Мэдисона), но можно полагать, что президентские амбиции сохранялись в течение всех восьми лет.
Фактически Джеймс Монро начал президентскую кампанию уже весной 1815 г. При помощи своего зятя Джорджа Хэя, который стал его главным политическим советником, Монро провел своего рода разведку в штатах. Почти везде оказалось, что на местах он пользуется поддержкой, хотя подчас высказывалось раздражение возможностью появления еще одного президента родом из Вирджинии.
Состоявшийся в марте 1816 г. кокус Демократическо-республиканской партии, естественно, воспринял должным образом рекомендацию двух бывших президентов — Джефферсона и Мэдисона — и выдвинул Монро на высший пост. Партия федералистов находилась в состоянии хаоса и вообще не выдвинула кандидата. Правда, в качестве фактического ее представителя выступил сенатор от штата Нью-Йорк Руфус Кинг, который так и не смог развернуть эффективную избирательную кампанию. Завершение войны с Великобританией двумя годами ранее, как и попытки федералистов из Новой Англии саботировать военные усилия своей страны, вплоть до угроз выхода из США, закрепили полное доминирование Демократическо-республиканской партии.