Замышляя привести Германию в такое положение, какое еще было возможно, Карл IV приготовил золотой буллой новую вражду с Людовиком, старшим сыном прежнего императора Лудвига IV, который несколько времени пред тем (1351) отдал свое бранденбургское маркграфство двум своим братьям, Лудвигу Рмискому и Оттону, в замен Баварии, лежащей подле владений жены его Маргариты Тирольской. В силу этой золотой буллы курфюршество могло принадлежать только одному лицу и то владетелю земли, к которой оно принадлежало. Людовик, который тогда потерял курфюршеское право, так как лишился Бранденбурга, приписывал это постановление злому умыслу Карла, и составил тайный заговор против него с некоторыми князьями, именно с родным зятем Карла Рудольфом IV, австрийским герцогом, сыном и наследником Альбрехта II (1358 г.) Князья эти советовались свергнуть Карла с престола и избрать нового немецкого императора, не без ведома папы Иннокентия VI.
Карл, преследуя князей, угрозами заставил испросить прощение. Против папы он выступил на государственном сейме в Могуче в 1359, где от легатов его он требовал для себя собирания десятины с доходов всего германского духовенства. Император высказался против него, и в речи своей указал на беспорядки, господствовавшие в священстве, которые должны были быть уничтожены, также на светские обычаи духовенства, — чрезмерную роскошь в одежде и небрежность в исполнении пастырских обязанностей. Десятина не была позволена, император же напомнил епископам, чтобы они исправили нравы своего духовенства, грозя уничтожить священнические доходы и передать их папе, с целью обратить их к чему-нибудь лучшему. Папа Иннокентий согласился на это, не противодействовал и одобрял заботливость императора об искоренении испорченности духовенства особенным письмом к курфюрстам; напротив того, Карл издал запрещения против растраты церковных имуществ, к которому немецкие князья нашли себе предлог в словах его на Могучском сейме.
Решение императора о необходимости улучшения церковных дел, хотя причина к нему заключалась в минутной размолвке между ним и папой, не было все-таки делом простого развлечения со стороны Карла. Еще при жизни своего отца он видел неблагопристойные явления, порожденные корыстолюбием духовенства, когда в 1334 г. пражские странствующие монахи начали ссориться между собой, из-за платы с церковных обрядов, так что доходило до кровавых драк в самых церквах. Карл с самого начала заботился об уничтожении таких беспорядков в своей стране. Совершенно по его мысли, Эрнест епископ пражский, человек во всех отношениях отличный, старался искоренить безнравственность духовенства своего округа. Издав в 1349 году обширные уставы или статуты, направленные к этому, он на каждом провинциальном собрании, ежегодно собираемом, заботился о надлежащем их исполнении и о действительном соблюдении. Карл IV, чтобы побудить духовенство к большей пастырской ревности, вызвал с 1360 году в Прагу из Австрии знаменитого проповедника Конрада Вальдгаузера, который, сперва как проповедник в монастыре св. Галла в старом городе, потом как фарар Тынский, возбудил большое движение, преследуя незаконность и приводя народ к заслуженному покаянию. Нападение на неслыханное корыстолюбие священства возбудило против него гнев нищенствующих монахов, так что они распространяли про него подозрение в ереси, но не нашли сочувствия у архиепископа Эрнеста.