Скоро все храмы, основанные Карлом в Праге обратились в громадные и великолепные здания; они требовали много лет для своего окончания, а некоторые из них не были даже окончены при его жизни. По красоте превышала все другое новая митрополитская церковь св. Вита, Вацлава и Войтеха в пражском замке, построенная отличнейшими знатоками готического зодчества, сперва Матвеем из Франции, потом Петром Парлером из Швабии, родом из поляков. В отношении громадности предприятия этим зданиям равнялось основание нового каменного моста чрез Влтаву, между малым и старым Пражским замком, строителем которого был также Петр Парлер. Прага и вообще Чехия, благодаря таким искусным постройкам стала одним из главнейших средоточий строительного искусства того времени; ни одна страна кроме Италии и Франции не могла равняться чешскому королевству числом и громадностью своих церквей. Кроме того стала прославляться сама собой скульптура, а равным образом и чешская живопись, мастерскими трудами Дитриха из Праги, Збишки из Тротины и многих других их современников.
В последнее время своего правления Карл IV чаще нежели прежде отклонялся заграничными бедствиями от разных стремлений своих на пользу чешской страны. Сторона Людовика баварского старшего между немецкими князьями в короткое время снова возобновила свое восстание, так что Карл IV принужден был выступить в поход против одного из них, Эбергарда, графа Вюртенбергского. После поражения при Шорпдорфе (1361) он и вместе с ним Рудольф IV австрийский принуждены были покориться. В этот год умер Людовик баварский. Но когда вскоре после этого произошел разрыв между Карлом IV и Людовиком королем венгерским, то: Рудольф опять вошел в союз с новым врагом своего тестя, надеясь с помощью его получить императорское достоинство. В союз этот вступил также Менгардт III, сын Людовика баварского и Маргариты тирольской; кроме того король венгерский присоединил к ним родственника своего Казимира, короля польского. Все было готово к битве, но скоро произошло перемирие между Карлом и Людовиком (1362), так как австрийский герцог вследствие других своих забот не мог подоспеть на помощь своему союзнику.
Незадолго пред тем императрица Анна родила Карлу сына, которому дано было имя Вячеслав (1361); но в следующем году она умерла (1362) и Карл вступил в четвертый брак с Елизаветой, дочерью Болеслава V померанского герцога (1363), чем и приобрел себе новую дружбу с Казимиром, королем польским, ибо Елизавета была его внучкой. Рудольф IV должен был искать расположения императора, чтобы достигнуть спокойного владения Тиролем, который перешел к нему по смерти Менгардта III (1363) по наследственному договору, заключенному с ним и с его матерью. Так освободился Карл от двух своих врагов. Из-за остального наследства после Менгардта, части Баварии, которой он владел после отца, произошли в то время раздоры между его родственниками, из которых один, Степан, герцог нижнебаварский, завладел всей этой стороной на счет двух других, Людовика и Оттона, маркграфов бранденбургских.
Эти последние из зависти к нему заключили договор с императором Карлом, по которому помимо Степана назначили его и его потомков наследниками своими в Бранденбурге (1363). С их позволения Карл выкупил Нижнюю Лужицию, принадлежавшую к их княжеству, из залога у маркграфа мейсенского (1364) и отдал ее в лен пожизненно самому старшему своему тестю Болку Свидницкому. Когда таким образом изменились отношения, в 1364 году заключен был окончательный мир между Карлом IV с одной, Людовиком венгерским и Рудольфом IV с другой стороны, и состоялся знаменитый договор или наследственный союз, в силу которого, по прекращении владетельного рода в Чехии, австрийский дом становился наследником обеих земель и если австрийский дом прежде вымирал, то чешский род снова вступал в свои права. Подобный договор еще прежде был заключен королем венгерским и герцогом австрийским почему и венгерский дом был присоединен к этому союзу.