Вторым элементом, требовавшим перемен, были хоралы. Огромным подспорьем в этой работе стала традиция голландской полифонической религиозной музыки, которую Лютер ценил превыше всех других. В основу положена мелодия григорианского хорала, над которой три, четыре или более голосов взвивались затейливыми руладами в контрапункте. Сам Лютер в 1538 году в предисловии к посвященному музыке труду собрал воедино все похвалы музыке вместе с самым выразительным описанием голландского полифонического хорала из всех, когда-либо написанных: "Всем ценителям свободного музыкального искусства доктор Мартин Лютер желает благодати и мира от Бога Отца и Господа нашего Иисуса Христа. Всем сердцем своим готов я превознести драгоценный Божий дар благородного музыкального искусства, однако не ведаю, с чего начать. Нет на земле ничего такого, что не имело бы своего звучания. Даже воздух невидимый производит звук, будучи рассекаемым плотным телом. Еще большее удивление рождает то пение, которое мы слышим среди зверей и птиц. Давид, будучи и сам музыкантом, с изумлением и радостью свидетельствовал о птичьем пении. Что же в таком случае сказать о голосе человеческом, с которым не может сравниться ничто? Тщетно пытались языческие философы объяснить, каким образом язык человеческий выражает помыслы сердца речью и пением, смехом и плачем. После Слова Божьего музыка достойна наибольшей хвалы, ибо она способна передавать все чувствования. Ничто на земле не обладает большей силою, которая может возвеселить печального и опечалить веселого, ободрить впавшего в уныние, смирить высокомерного, умерить безудержного или смягчить жестокого. Сам Дух Святой отдает дань музыке, когда свидетельствует о том, что злой дух удалился от Саула, когда Давид заиграл на своих гуслях. Отцы желали, чтобы музыка всегда преизобиловала в Церкви. Вот отчего в ней так много песен и псалмов. Сей драгоценный дар дан одним лишь людям, чтобы напоминать им, что сотворены они для того, чтобы восхвалять и возвеличивать Господа. Когда же музыка природная совершенствуется и обостряется искусством, мы с изумлением начинаем постигать великую и совершенную мудрость Божью, явленную в чудесном даре музыки, где один голос исполняет простую партию, а вокруг него поют три, четыре или пять других голосов, взвиваясь, кружась и чудесно украшая простую партию. Они подобны кадрили, исполняемой в небесах с дружескими поклонами, объятьями и кружением партнеров. Кто не видит в том невыразимого чуда Господня, воистину глупец и недостоин почитаться человеком".
По мнению Лютера, далеко не последним из всех достоинств музыки является отсутствие в ней противоречий. В пении он никогда не ощущал противоборства. Знаменитые полифонические хоралы Нидерландов были сочинены для католической церкви, однако это не мешало Лютеру любить их и заимствовать из них. Опять-таки, когда герцоги Баварии возненавидели Лютера до такой степени, что лишь факт получения письма от него грозил бедами человеку, находившемуся на их территории, Лютер тем не менее осмелился написать баварскому композитору Сенфлу: "Любовь, которую я испытываю к музыке, позволяет мне также надеяться, что письмо мое никоим образом не поставит вас под угрозу, ибо даже в Турции кто способен упрекнуть человека, любящего искусство и восхваляющего художника? Как бы то ни было, я возношу хвалу вашим баварским герцогам. Хотя они меня и не любят, но я чту их превыше всех других за то, что они ценят и поощряют музыку". Эразм стремился сохранить те европейские союзы, которые сложились в политике. Лютер стремился к тому же самому в музыке.
Для исполнения полифонического хорала необходим хор. Лютер с чрезвычайным усердием занимался подготовкой хоров. Георг Pay, регент герцога Георга и дирижер двенадцатиголосного хора, певшего во время Лейпцигского диспута, был приглашен в Виттенберг регентом и дворцового, и церковного хоров. Следует упомянуть также, что многие немецкие князья сами содержали хоры - они-то и были источником профессионально подготовленных певцов. Лютер весьма опечалился, когда Иоганн Фридрих из соображений экономии распустил хор, который издавна содержался щедрым Фридрихом Мудрым. Чтобы восполнить эту утрату, в городах были образованы хоровые общества и - что самое главное - организовано глубокое изучение музыки в школах.