В 1926 году Аденауэру предложили пост канцлера, но он отказался. С приходом Гитлера к власти Аденауэр, не скрывавший своих антинацистских взглядов, 13 ноября 1933 года был смещен с поста обер-бургомистра Кёльна. Опасаясь ареста, он сменил место жительства и осел в местечке Рендорф, недалеко от Кёльна. В 1944 году он отказался участвовать в заговоре против Гитлера, считая это предприятие авантюрой, изначально обреченной на провал и неспособной облегчить послевоенную судьбу Германии. Тем не менее после покушения 20 июля Аденауэра на всякий случай арестовали. Однако следствие быстро установило его полную непричастность к заговору, и 26 ноября 1944 года он был освобожден. Незадолго до конца войны его снова арестовали и поместили в концлагерь неподалеку от Кёльна, однако старшему сыну, офицеру вермахта, удалось добиться освобождения отца. В марте 1945 года американские войска захватили Кёльн. Аденауэр согласился вновь стать бургомистром при оккупационных властях. Он также являлся основателем и первым председателем Христианско-Демократического Союза – преемницы влиятельной во времена империи и Веймарской республики католической партии Центра. ХДС выступало за сочетание христианских ценностей с ценностями свободного рынка. В 1948 году на территории западных оккупационных зон Германии были образованы 11 земель со своими правительствами. В Бонне начал работать Парламентский совет – предтеча нового германского парламента. Его президентом избрали Аденауэра. Он находился под сильным влиянием баварского профессора экономики Людвига Эрхарда – автора теории социального рыночного хозяйства. Эта теория стала официальной программой ХДС.
В 1948 году умерла вторая жена Аденауэра Августина, что стало для него тяжелым ударом. У главы ХДС осталось семь сыновей и множество внуков.
23 мая 1949 года была принята Конституция Федеративной Республики Германии, объединившей американскую, английскую и французскую зоны оккупации, а 15 сентября с перевесом всего в 1 голос Аденауэр был избран первым федеральным канцлером. Его главной задачей стало экономическое оздоровление страны, восстановление ее роли в европейской политике, а в перспективе – воссоединение Германии. В то же время в первые годы суверенитет ФРГ оставался весьма ограниченным. До 1955 года западногерманская внешняя политика оставалась прерогативой верховных комиссаров западных оккупационных держав, и страна не имела своей армии. 21 сентября 1949 года, когда канцлер нанес первый визит верховным комиссарам, он демонстративно отказался стоять на том месте, которое было указано ему по протоколу, и встал рядом с представителями держав-победительниц, демонстрируя тем самым стремление стать их полноправным союзником. С 1951 по 1955 год Аденауэр по совместительству занимал пост министра иностранных дел. Первым крупным внешнеполитическим успехом Аденауэра стало то, что 2 мая 1951 года ФРГ стала одним из учредителей Европейского объединения угля и стали – предтечи «Общего рынка» и нынешнего Европейского союза. В мае 1952 года был подписан Общий договор ФРГ с западными державами о прекращении режима оккупации и о предоставлении западногерманскому правительству «полной власти суверенного государства в решении внутренних и внешних проблем».
Свой первый государственный визит он нанес в Париж, поскольку во главу угла своей политики он поставил историческое германо-французское примирение, и ему удалось блестяще разрешить эту непростую задачу. Особенно активные шаги по развитию франко-германской дружбы были предприняты после того, как к власти во Франции пришел генерал де Голль. 22 января 1963 года в Париже, на Елисейских полях, Аденауэр и де Голль прилюдно обнялись. Это символизировало окончание четырех столетий вражды между Германией и Францией. Тогда же Аденауэр и де Голль подписали договор о дружбе. По этому поводу Аденауэр заявил: «Я готов временно пожертвовать германским воссоединением ради того, чтобы наша страна вошла в единый и сильный западный лагерь и стала бы одной из основных опор этого лагеря. Будущее Европы лежит во взаимопонимании между Францией и Германией». Аденауэр стал одним из инициаторов заключения Римского договора об «Общем рынке» (Европейском экономическом сообществе) в 1957 году, в который, кроме ФРГ, вошли Франция, Бельгия, Голландия, Люксембург и Италия.
10 сентября 1952 года Аденауэр подписал в Люксембурге соглашение о репарационных платежах. Оно предусматривало выплаты со стороны ФРГ европейским государствам – жертвам гитлеровской агрессии, а также государству Израиль – в качестве компенсации за осуществлявшийся нацистами геноцид еврейского народа. Евреи получили возможность облегченного получения западногерманского гражданства. В то же время Адэнауэр всячески подчеркивал, что большинство немцев непричастны к преступлениям нацистского режима.