Женитьба никак не повлияла на отношения Бертье с давно любимой женщиной. Его семейная жизнь приняла какой-то странный оттенок. В Париже он снял для Джузеппины дом рядом со своим особняком. Овдовевшая маркиза частенько навещала Бертье и даже играла в вист с его женой. В страсти Бертье было что-то болезненное. Не понимая, почему его, такого непредставительного мужчину, самая прекрасная женщина Италии предпочла всем красавцам-рубакам из свиты Бонапарта, он не находил себе места, когда был не рядом с ней. Так, во время неудачного Египетского похода Бертье, примирившийся с потерей дамы сердца, дошел до абсурда. Он воздвиг ее алтарь в своей палатке! Бурьенн, мрачный и педантичный секретарь Наполеона, был ошеломлен, когда, заглянув однажды вечером к начальнику штаба, застал его коленопреклоненным перед портретом дамы сердца. Секретарь скромно кашлянул, но Бертье даже не пошевелился, и совершенно изумленный Бурьенн тихо вышел из палатки, оставив начальника генштаба армии наедине с предметом его обожания.
Судьба нанесла по психике Бертье сокрушительный удар: как только он женился по указу императора, выяснилось, что в тот же день муж маркизы де Висконти скончался, и его дражайшая возлюбленная теперь свободна. Погрузившись в горе, Бертье проклинал несчастную судьбу и плакался Бонапарту о поспешности своей женитьбы. Как Бертье тогда не сошел с ума, для истории осталось загадкой. В далекой России во время отступления из Москвы маршал не выдержал и просил готовившегося к отъезду императора взять его с собой. Но Наполеон был неумолим: «Я знаю, в чем дело. Вы хотите к своей мадам Висконти!» И маршал остался с армией до конца.
Судьба не пощадила любовников. Внезапный удар парализовал левую половину тела маркизы де Висконти. Бертье по-прежнему относился к больной женщине с нежностью. Джузеппина на 25 лет пережила своего таинственно погибшего обожателя. Многие годы спустя на острове Святой Елены Наполеон счел нужным подчеркнуть: «Никогда я не видел такой страсти, как у Бертье к мадам Висконти».
Но вернемся из любовных альковов на поля сражений. В начале Австрийской кампании 1809 г. Бертье совершил массу оплошностей, которые чуть не привели к разгрому армии по частям. Не обошлось без ошибок оптического телеграфа (напутал туман), с помощью которого Наполеон из Парижа стремился координировать деятельность Бертье на передовой в Страсбурге. Обстановка не становилась яснее, так как из Парижа в ставку поступали противоречивые приказы. Наполеон непрерывно посылал дополнения к своим распоряжениям. В течение двух дней царила полная неразбериха, а Бертье с утомленным видом ездил верхом взад и вперед, чтобы быть везде, где грозит опасность.
К счастью, Бонапарт уже мчался с бешеной скоростью к границе, останавливаясь только для смены лошадей. Позже Наполеон, упоминая о создавшейся ситуации, сказал: «Вы не можете представить, в каком положении я нашел армию по своему прибытию и к тому же какие ужасные последствия могли бы произойти, если бы мы имели дело с предприимчивым врагом». Оценив ситуацию, Наполеон написал Бертье: «Надо было делать прямо противоположное тому, что вы сделали». Для того чтобы исправить ошибку Бертье, понадобились гений Наполеона и чрезвычайные усилия со стороны войск, но в конце концов она была исправлена, не в последнюю очередь благодаря тактическому искусству Даву.
После того как Наполеон, разведясь с Жозефиной и начав поиски невесты, остановил выбор на австрийской эрцгерцогине Марии Луизе, Бертье в 1810 г. в качестве чрезвычайного посла ездил в Вену просить у императора руки принцессы. Простые австрийцы воспринимали приезд французского посланника как завершение военного времени и переход к мирной жизни, которую обещал им союз Наполеона с дочерью Габсбурга.