Однако в последующие месяцы объем партийно-организационной работы и связанных с ней забот возрос настолько, что Карл Хаусхофер, и без того не отличавшийся простым и покладистым характером, стал замкнутым и нервным. Только так можно объяснять несколько партийных конфликтов, в которые был вовлечен генерал и профессор. Дело было отнюдь не в его человеческих слабостях или желании стать непререкаемым партийным авторитетом. В итоге в начале 1922 года у Хаусхофера появился долгожданный повод, чтобы отказаться от всех постов в Немецкой народной партии. Однако перед этим он решил посовещаться с сыном Альбрехтом. Карл Хаусхофер полагал, что более не имелось основы для плодотворного сотрудничества с местной организацией партии. Он рассчитывал на доверительные отношения, но на практике ему приходилось обороняться от нападок и распутывать различные интриги. В глубине души Карл Хаусхофер чувствовал, что его решение только облегчит жизнь, станет для него избавлением от муторной партийной работы. В письме, которое он написал 2 февраля 1922 года Марте, Карл Хаусхофер описывал заседание комитета, на котором обсуждалось его заявление об отставке. Это «сугубо бюрократическое мероприятие» вызвало у него исключительное омерзение. Утверждение отставки Хаусхофера было решено перенести на общее собрание городской партийной организации, которое было запланировано на май 1922 года.
Однако 28 мая 1922 года Карла Хаусхофера было решено избрать в земельное правление Немецкой народной партии. При этом была удовлетворена его просьба об отставке с поста главы мюнхенской партийной организации. Таким образом, в 1922 году Хаусхоферу не удалось расстаться с партией. Конечно, номинальная деятельность в земельном правлении не занимала столько же времени, сколько раньше, а потому еще несколько лет Хаусхофер продолжал числиться в списках партийных активистов. Разрыв с Немецкой народной партией произошел только в 1925 году, когда генерал фон Шох подверг острой критике статью Хаусхофера, посвященную Локарнским договорам. Эта статья, в которой Хаусхофер гневно обрушился на эти договоры, была провозглашена «наносящей вред партии». Не желая мириться с подобного рода критикой, Карл Хаусхофер покинул ряды Немецкой народной партии. Он решил раз и навсегда разделаться с отведенной для него ролью «свадебного генерала», который должен был присутствовать на множестве мероприятий. Впрочем, это не означало, что Карл Хаусхофер полностью утратил интерес к политической и партийной жизни. Однако в конце 20-х — начале 30-х годов он в своих письмах выражал симпатии самым различным партиям. В одном из них он превозносил фон Эппа, который возглавил список Национал-социалистической партии по Баварии. Годом позже говорил о полезности идей, которые высказывались в «Младогерманском ордене» Артура Марауна. В 1930 году он вежливо отклонил предложение войти в состав правления «Народно-консервативного объединения». В 1932 году Хаусхофер позиционировал себя как последовательный сторонник рейхспрезидента Гинденбурга. Он писал в одном из писем: «Я — не черный и не красный. Я во многом недоволен нашей нынешней системой. Но я один из пяти миллионов человек, которые отдали свой голос Гинденбургу».
В 1923 году у Хаусхофера добавилось забот. Дело в том, что «Объединение зарубежных немцев» хотело непременно привлечь к сотрудничеству именитого мюнхенского профессора. 21 апреля 1923 года он написал своей супруге: «Уже два дня неустанно меня преследует господин фон Вицлебен. Он ходит за мной по пятам, настроенный говорить только лично. Сегодня я понял, о чем идет речь, — они хотят сделать меня председателем земельного правления объединения, ратующего за сохранение немецкой самобытности за рубежом. Мне будет полагаться собственный офис, секретарь, машинистка, отпечатанная большим тиражом программа. В этом отношении условия более благоприятные, нежели в политических партиях». Баварское отделение ФДА в основном занималось налаживанием культурных связей с немцами, проживавшими в Богемии, Южном Тироле и Эгерланде (Чехия). После трех дней раздумий Карл Хаусхофер дал свое согласие. Впрочем, сам он сомневался, что смог бы сделать очень многое для этой организации.
В июне 1923 года первый заместитель председателя баварской организации ФДА фон Вицлебен разослал циркуляр, в котором указывалось, что на общем собрании в Регенсбурге было запланировано избрать председателем Карла Хаусхофера. В этом документе он характеризовался следующим образом: «Он приобрел богатый геополитический опыт во время своего долгосрочного пребывания в качестве военного атташе дипломатического представительства в Токио
[7], постоянно поддерживал контакты с проживающими за границей немцами». Впрочем, избрание Хаусхофера на пост председателя баварской организации ФДА произошло только в августе 1924 года на съезде, который проходил во Швайнфурте. Это решение было принято единогласно. Но это отнюдь не значило, что с 1923 по лето 1924 года Хаусхофер никак не занимался делами «Объединения зарубежных немцев».