Оставшись практически единственным из крупных французских актёров, отказавшихся возвращаться в Париж и работать в условиях немецкой оккупации, Жан отправляется в Голливуд. Мишель Морган познакомила его с красивой белокурой танцовщицей Джинджер Роджерс. Затем Габен сошёлся с Марлен Дитрих. Несомненно, немецкая актриса была влюблена в Габена. Между Жаном и Марлен возникла подлинная страсть.
Как и в Париже, он не любил голливудских светскостей и выходов. Марлен, напротив, несмотря на истинный талант «немецкой домохозяйки», любила выходить, посещать рестораны, ночные кафе, балетные и оперные спектакли. Чтобы быть ей приятным, Жан сопровождал её повсюду, но ненавидел это занятие. Особенно не любил балетов и опер, на которых засыпал.
В середине апреля 1943 года офицер Габен получил назначение на корабль сопровождения «Элорн». В районе мыса Тенес на конвой напали вражеские самолёты. Габен чудом остался жив. Затем он служил инструктором в школе морских пехотинцев, командовал танком «Суффлёр II». Самой дорогой наградой в своей жизни он считал орден «Военный крест».
В 1946 году Жан Габен вернулся в кино. Его партнёршей в фильме «Мартен Руманьяк» была Марлен Дитрих. Картина в прокате провалилась. Марлен вернулась в Голливуд. Габен женился на красавице Доминик Фурье, которая внешне напоминала Дитрих (её даже принимали за младшую сестру голливудской звезды). Брак оказался удачным. Они воспитали сына Матиаса и двух дочерей — Флоранс и Валери.
В пятидесятых годах Габен создаёт целую галерею так называемых «сильных людей». В работе актёра появляется расчётливость — точность распределения «своих» и «не своих» сцен, ударных и проходных эпизодов. Его усталое, чуть показное мастерство как бы входит в плоть и кровь героев; они всегда и прежде всего мастера, мэтры.
Жан Габен плохо переносил свою популярность (ненавидел давать автографы, так как считал это по крайней мере нескромным), он с трудом мог понять, что, когда занимается своим ремеслом на экране, кто-то может заинтересоваться им самим, его личностью — это его смущало и лишало уверенности, которой и так не всегда хватало. Единственное, о чём он мог бы говорить сколько угодно (но его никогда об этом не спрашивали), была гастрономия.
У некоторых журналистов сложился образ Жана Габена как ворчуна и упрямца, который он сам частично помог создать, скандаля с ними, но они отшлифовали этот образ для себя раз и навсегда и больше от него не отступали, прибегая ради этого даже к заведомой лжи в своих публикациях.
Образ неуступчивого Габена, сводящего счёты с противником с помощью карабина, похоже, больше привлекает людей, чем его истинный облик человека и ранимого, и мужественного, и здравомыслящего. На обычном сеансе «Мелодий подземелья» в эпизоде, где гангстер (его играл Габен) опустошает сейф и набивает сумку банковскими билетами, жена актёра услышала реплику какого-то зрителя: «Такой, как Габен, выгребет всё — я его знаю!»
Габен любил актёров. «Малыш» — его обращение к тому, кто мог бы быть его «сыном» и кого он хотел бы видеть рядом с собой в кино и в жизни. «Малышами» для него были Ален Делон, Жан-Поль Бельмондо, Жерар Депардьё… Каждый раз журналисты писали, что он, как монарх, считает Жан-Поля (Алена, Жерара) своим «преемником», «наследником» и «духовным сыном». «У меня нет короны, — говорил Габен, — я не король, следовательно, не мне назначать наследника. Это всё выдумки журналистов! Такие ребята, как Жан-Поль, Ален, Депардьё и ещё двое или трое, очень талантливы сами по себе, и их ждёт прекрасная карьера. Я им этого желаю. Они уже сыграли и ещё могут сыграть те роли, которые играл я в разное время, и это всё, что нас связывает. Я в шутку часто сравнивал свои достижения в кино с достижениями спортсмена, но никогда не считал, что могу передать своё звание кому бы то ни было…»
Брижит Бардо рассказывала, как помог ей Габен, когда она оказалась неспособной проговорить роль, то и дело путалась в тексте. «Чувствуя, что я в страхе, смущении, беспамятстве, на грани нервного срыва, он нарочно ошибся в следующем дубле. И проворчал, что, дескать, со всяким может случиться! Этим он разрядил атмосферу, и я наконец произнесла всё правильно. Спасибо, Габен! Под грубоватой оболочкой у вас была нежнейшая душа, и благодаря вам мне в „Случае несчастья“ удалась роль!»
У знаменитых актёров обычно многие под тем или иным предлогом просят денег. Часто такие письма приходят на киностудию. Жан обычно рвал их со словами: «Все эти попрошайки мне до смерти надоели!..» Но одно письмо потрясло его: бедняка бросила жена, и теперь он обещал утопиться вместе со своими дочерьми, если ему не помогут.