Но постепенно великий замысел Наполеона III стал давать трещины. Положение французов ухудшали несколько главных проблем. Дело в том, что планы Наполеона III по превращению Мексики в источник дохода исключали любую возможность самоуправления Мексиканской империи. Если бы французы хотели создать из Максимилиана жизнеспособного императора, они должны были не увеличивать втрое государственный долг Мексики, а, напротив, сократить его и помочь стране в создании настоящей армии и администрации. Первого они не сделали бы никогда, а к созданию армии приступили, лишь когда стало слишком поздно. Австрийский император сформировал корпус из 6 тыс. добровольцев, готовых помочь его брату удержать трон, еще 1200 человек присоединил к этому формированию Леопольд I Бельгийский, отец Шарлотты. Но это не было достойной заменой мексиканской армии. К тому же маршал Базен, несмотря на свой опыт войны в Алжире, не потрудился создать разведывательную сеть и противодействовать эффективной разведке Бенито Хуареса. Коррумпированное консервативное правительство Максимилиана было так же разрозненно, как и правительство Хуареса в самые свои худшие годы. В любом случае, оно катастрофически быстро теряло поддержку в большей части страны.
Изменилась и международная ситуация. Во Франции растущая оппозиция начала осуждать Наполеона III за то, что он держит десятую часть армии неизвестно где, безо всяких шансов на возвращение. Тем временем на другом берегу Рейна «железный канцлер» Отто фон Бисмарк превращал королевство Пруссию в эффективную военную машину и пообещал железом и кровью создать новый немецкий рейх. В этих условиях ни французы, ни брат Максимилиана Франц Иосиф больше не могли отправлять солдат за океан.
Но хуже всего на положении французов и Максимилиана отразилось падение Конфедерации. В июле 1863 г., когда французы уже месяц находились в Мехико, произошла битва при Геттисберге — самое кровопролитное сражение в ходе Гражданской войны в США, считающееся переломной точкой в конфликте. Победа Северян в этой битве заставила Юг перейти к постоянной обороне. Тогда же генерал Улисс Грант захватил Виксберг — последний южный оплот на Миссисипи. Это раскололо Конфедерацию надвое. Чувства Максимилиана к Конфедерации всегда были смешанными. Любой мексиканец знал, что южные штаты управляются рьяными сторонниками расширения за счет мексиканской территории. Если бы Максимилиан или Франция признали независимость Конфедерации, то дали бы Северу возможность открыто выступить на стороне Бенито Хуареса. 9 апреля 1865 г. в Аппоматтоксе капитулировал генерал Ли и, вслед за ним, одна за другой сдались остальные южные армии. К концу мая был подавлен мятеж в Техасе. В июне 1865 г. генерал Эдмунд Кирби Смит, последний мятежный командир, сдался армии Союза в Гальвестоуне.
Сразу после падения Конфедерации изменилась стратегическая ситуация и в Мексике. Если мятежники были доброжелательно нейтральны, то Союз был решительно недружелюбен к мексиканской империи. Как только сдались последние мятежники, генерал Улисс Грант отправил на границу Техаса три корпуса, численностью в 50 тыс. человек, под командованием жесткого кавалерийского командира, генерала Филиппа Шеридана. Чтобы уничтожить любые силы Базена по всей Рио-Гранде, было достаточно одной этой «Наблюдательной армии». Армейские патрули не только угрожали французским интервентам, но и регулярно снабжали оружием войска Хуареса. Более того, генерал Шеридан быстро «растерял» американское оружие и запасы провизии по пустыне и позволил Бенито Хуаресу «найти» его. Вскоре у Хуареса было четыре тысячи винтовок для перевооружения своих солдат. Около трех тысяч отставных солдат армии Союза, включая большое число негров, перешли на его сторону. Однако Хуарес был осторожен и сопротивлялся столь активному присутствию американской военной силы в Мексике. В тех сложившихся для их страны обстоятельствах все мексиканцы, вне зависимости от их политических пристрастий, понимали истинные американские намерения.
Осенью 1865 г. Базен перешел к обороне. Хотя он знал о том, что США демобилизовали свою армию, он не мог не опасаться открытого вторжения. Он даже отвел французские войска от Рио-Гранде, чтобы не дать генералу Шеридану повода для наступления. Тем самым французы также попытались решить еще одну свою проблему. Как только их войска приближались к американской границе, резко возрастало дезертирство. Однажды Иностранный легион потерял 93 солдата-дезертира только за один-единственный день. С весны 1866 г. бегство из французской армии стало превышать боевые потери.
Между тем в августе 1865 г. Бенито Хуарес и остатки его правительства были оттеснены в Эль-Пасо дель Норте (ныне Сиудад Хуарес). Но французские войска и Мексиканская императорская армия не могли прогнать Хуареса. Несмотря на дезертирство и предательство, он все еще мог посылать свою армию на поле боя.