Эрхарду нельзя приписать также и то, что он был мелкобуржуазным мещанином и невеждой в вопросах искусства, как в сердцах назвал его Гюнтер Грасс. Эрхард питал беззаветную любовь к музыке. Его обширная коллекция пластинок охватывала большое количество классических композиторов, от Генделя, Баха, Моцарта и Бетховена, Глюка и Шопена до Рихарда Штрауса, с которым он был лично знаком. Особенно канцлер любил отдыхать вечером с бокалом виски с содовой под звуки симфонии Антонина Дворжака «Из Нового света». Кроме того, Эрхард любил американские евангелические песни и немецкую маршевую музыку, больше всего хоенфридбергский марш. Современную музыку он не любил, зато питал особую склонность к современной архитектуре.
«Эрхард был первым политиком, который вновь придал пусть и не всеобщее одобрение, но официальное значение модернизму, чье развитие было остановлено в эпоху Третьего рейха», — пишет историк Клаус Хильдебранд, который знал канцлерство Людвига Эрхарда «изнутри». Лучшим тому примером можно считать «канцлерское бунгало», служебную квартиру бундесканцлера, построенную в саду дворца Шаумбург. Вокруг этого здания из бетон, металла, неоштукатуренного кирпича и стекла долго не утихали ожесточенные споры. Оно открыто для посторонних глаз и выглядит незащищенным. Эрхард хотел, чтобы служебная квартира канцлера олицетворяла и демократическую архитектуру, полную достоинства, но без пустых претензий «представительствовать». Это соответствовало его собственному пониманию политики и должности федерального канцлера: «Вы лучше узнаете меня, если посмотрите на этот дом, чем если услышите мою политическую речь», — сообщил он журналистам. Однако СМИ видели это по-другому: «Не может быть и речи об интимности. Канцлер, который уединился в своем доме на несколько часов, чтобы отдохнуть и собраться с мыслями, словно находится на витрине мебельного магазина», — писала газета «Христос и мир». Пресса ведрами выливала насмешки и едкую критику на служебную квартиру. Совсем небольшой «плавательный бассейн», размером 3 на 6 метров, особенно часто становился предметом раздражения, из-за этого бассейна новый дом Эрхарда был назван «дворец Шаумбад»[15] или «Услада Людвига». Скромного и непритязательного канцлера обвинили в том, что на строительство дома ушло 2,08 миллиона марок, при этом цена была даже ниже заявленной сметы. Многим показалось, что в стране уютных округлых контуров и гельзенкирхенского барокко это здание выглядит слишком авангардно. Эрхард, напротив, явно чувствовал себя превосходно в здании архитектора Зепа Руфа. Руф был его другом, и уже в 1951 году сделал проект частного владения Эрхарда на озере Тегернзее в Баварии. Здания в имении и во дворце Шаумбург были похожи друг на друга не только внешне. Вокруг владения Эрхарда на Тегернзее тоже разгорелся скандал: здание было построено в восточном стиле, кроме того, земля на озере принадлежала природному заповеднику. Местное население было недовольно строительством, но после того, как улеглись первые волнения, Эрхард с удовольствием проводил время в этом уголке Восточной Баварии — одном из самых красивых в Германии. Критики Эрхарда отмечали, что он часто прятался здесь от шума и суеты. Впрочем, критикам не нравилось все, в том числе и слишком частые поездки канцлера.
В любом случае, поездки, связанные с предвыборной борьбой, закончились для Эрхарда 19 сентября 1965 года в день пятых выборов в немецкий бундестаг. Несмотря на предсказания о малом отрыве ХДС от СДПГ, ХДС получил 47,6 % голосов и стал лидирующей партией, лишь чуть-чуть недобрав до абсолютного большинства. СДПГ получила 39,3 % голосов, потерпела поражение и оказалась на втором месте. Кандидат от СДПГ на пост канцлера, Вилли Брандт, уже всерьез подумывал о том, чтобы сдаться и, смирившись, вернуться обратно в Берлин.
Людвиг Эрхард в очередной раз подтвердил свое прозвище «предвыборного локомотива». Внешне он выглядел счастливым победителем, но это была пиррова победа. Переговоры вокруг формирования правительства оказались неожиданно сложными и беспощадно разоблачали, насколько хрупким был фундамент власти Эрхарда, несмотря на убедительную победу на выборах. После окончания выборов в ХДС опять вспыхнули внутрипартийные споры поразительной остроты. «Голлисты» вторично призвали к походу против «атлантиков», попытавшись воспрепятствовать повторному назначению Герхарда Шрёдера министром иностранных дел.