Поскольку к 1808 году республиканская фракция Конгресса четко контролировала выдвижение кандидата в президенты от партии, она пришла к выводу, что президент в какой-то мере является ее креатурой. По мере того как Конгресс накапливал власть, уходящую от исполнительной власти, он стремился объединиться в комитеты, чтобы инициировать и контролировать политику. Но развитие системы комитетов лишь еще больше раздробило правительство на противоборствующие группы интересов. Таким образом, Мэдисон столкнулся с буйным Конгрессом и расколотой Республиканской партией, различные фракции которой выступали против его президентства. Пытаясь добиться единства среди республиканцев, президент позволил своим критикам отказать ему в выборе доверенного союзника, Альберта Галлатина, на пост государственного секретаря. Вместо этого он был вынужден назначить на этот важный пост Роберта Смита, ничем не выдающегося секретаря военно-морского флота в кабинете Джефферсона и человека, совершенно непригодного для должности госсекретаря.
В итоге Мэдисон получил кабинет, значительно более слабый, чем у любого из его предшественников-президентов. Кабинет Мэдисона, как заметил Джон Рэндольф со свойственной ему ядовитой проницательностью, "представляет собой новое зрелище в мире, разделенный сам против себя, и самая смертельная вражда бушует между его главными членами - что может произойти из этого, кроме путаницы, бед и разорения?"9
Новый президент сразу же столкнулся с проблемой прекращения эмбарго, которое он хотел сохранить. Вместо него Конгресс принял Акт о невмешательстве 1809 года, который открывал торговлю с остальным миром, но запрещал ее с Великобританией и Францией; он также уполномочивал президента возобновить торговлю с любой воюющей стороной, которая отменяла свои торговые ограничения и признавала нейтральные права Америки. С возобновлением торговли с остальным миром открылись широкие возможности для обхода запрета на торговлю с воюющими сторонами, и многие американские корабли отплывали якобы в нейтральные порты, чтобы в итоге оказаться в Великобритании. Поскольку британский контроль над морями не позволял многим американским купцам отправляться во Францию, Акт о невмешательстве фактически благоприятствовал Британии, а не Франции, и Мэдисон оказался в полной растерянности: как он мог принудить Британию к принятию акта, который на самом деле был выгоден бывшей материнской стране? Британия отреагировала на Акт о невмешательстве, издав в апреле 1809 года новые приказы, которые в какой-то мере удовлетворили жалобы американцев, хотя британское правительство всегда неохотно признавало, что идет на какие-либо уступки.
К сожалению, британский министр в Вашингтоне Дэвид М. Эрскин уже достиг соглашения с правительством Мэдисона, которое не совпадало с мнением британского министерства в Лондоне. Эрскин проигнорировал несколько ключевых инструкций своего правительства, которое, узнав о соглашении, дезавуировало его, включая одну инструкцию, гласившую, что, открывая американскую торговлю с Британией, Соединенные Штаты должны позволить британскому флоту обеспечивать соблюдение американского запрета на торговлю с Францией - унизительное неоколониальное условие, которое Мэдисон категорически отверг. Эти две страны не могли быть более далеки друг от друга. В то время как Америка хотела свободной нейтральной торговли с обеими воюющими сторонами, Британия хотела иметь нейтральные Соединенные Штаты, которые помогли бы ей победить Наполеона.10
Обманутый Эрскином в том, что Великобритания отменит свои торговые ограничения, президент Мэдисон в апреле 1809 года объявил, что торговля с бывшей страной-матерью теперь открыта. Когда летом 1809 года Соединенные Штаты узнали, что британское правительство отозвало Эрскина и отказалось от своего соглашения, у страны не осталось другого выбора, кроме как вновь ввести режим невмешательства с Великобританией. Когда министр финансов Галлатин пожаловался, что закон о невмешательстве наносит ущерб пошлинам от торговли и создает дефицит федерального бюджета, Конгресс был вынужден вывернуть свою политику наизнанку и вновь открыть торговлю с воюющими сторонами.