С началом кампании 1805 года назначен командиром 1-го резервного корпуса (сентябрь 1805 года). В декабре 1806 года Наполеон назначил Брюна генерал-губернатором Ганзейских городов со штаб-квартирой в Гамбурге. С конца апреля 1807 года командовал французскими войсками, действовавшими против шведов в Померании. Нанеся им ряд поражений, Брюн в сентябре 1807 года принудил к капитуляции последний оплот шведов в Померании — крепость Штральзунд. Шведы были вынуждены подписать соглашение об эвакуации своих войск из Германии. С целью урегулирования некоторых положений этого соглашения Брюн имел продолжительную встречу со шведским королем Густавом IV, во время которой последний без каких-либо обиняков предложил маршалу предать своего императора и перейти на сторону Бурбонов. Брюн ответил отказом, но способ, которым он отклонил это экстравагантное предложение, вызвал подозрение Наполеона. Еще до этого случая большое недовольство императора вызвало недостаточно строгое соблюдение Брюном условий континентальной блокады (снисходительное отношение к английской контрабанде и другие попустительства). Одновременно на его стол лег компромат на маршала, уличавший его в потворстве казнокрадам. Не случайно вскоре после этого генерал-губернатор Ганзейских городов был упомянут Наполеоном в числе других военачальников и крупных чиновников, названных им «ненасытными грабителями». И, наконец, император просто пришел в ярость, когда ему доложили, что, составляя конвенцию относительно передачи французам острова Рюген, Брюн упомянул лишь французскую и шведскую армии в качестве договаривающихся сторон без всяких ссылок на «его (т. е. Наполеона. — Авт.) императорское и королевское величество». В этом Наполеон усмотрел сознательное умаление Брюном его достоинства как главы государства и верховного главнокомандующего. Брюн попал в немилость и 27 октября 1807 года был снят со всех занимаемых им постов. Обиженный маршал уехал в Париж и подал в отставку. Его просьба без промедления была удовлетворена Наполеоном.
Оказавшись не у дел, Брюн ушел в частную жизнь, уединившись в своем поместье Сен-Жюст, незадолго до этого подаренном ему императором. В Париж, ко двору, он приезжал только в дни официальных празднеств и обязательных визитов.
После падения Наполеона в 1814 году перешел на сторону Бурбонов, но был принят ими довольно прохладно. Пожаловав ради приличия Брюну орден Св. Людовика, король Людовик XVIII тем не менее в приеме на службу ему отказал.
Когда в 1815 году Наполеон возвратился с острова Эльба, Брюн примкнул к нему. Император принял его на службу, назначив командующим 8-м военным округом (Марсель) и военным губернатором Прованса (апрель 1815 года). Во время «Ста дней» Наполеон также пожаловал Брюну титул графа Империи и звание пэра Франции.
С началом кампании 1815 года Брюн вступил в командование 9-м корпусом (обсервационный корпус на реке Вар), прикрывавшим границу с Италией. Активных боевых действий в ходе этой кампании возглавляемый Брюном корпус не вел, и маршал ничем особенным как военачальник себя не проявил. Но во время этого кратковременного правления Наполеона он преследовал роялистов с той же энергией и беспощадностью, как и в те времена, когда был ярым якобинцем.
После второго отречения Наполеона объявил себя сторонником короля, но долго медлил со сдачей Тулона, где, как и в Марселе, поддерживал строгий порядок и жестко пресекал любые попытки противников Наполеона дестабилизировать обстановку. Это возбудило против него ненависть пророялистски настроенных слоев общества.