Окончательно идея книги оформилась, по-видимому, в середине 1580-х годов, когда Карел ван Мандер, после возвращения на родину и нескольких лет скитаний по Нидерландам в поисках безопасного пристанища (он принадлежал к семье протестантов-меннонитов), обосновался в Харлеме: в 1584 году его имя было занесено в регистр местной гильдии св. Луки. С этим голландским городом — одним из важнейших художественных центров Северных Нидерландов — связан зрелый и наиболее плодотворный период его творчества. В середине 1580-х годов Карел ван Мандер открыл студию, получившую название «Харлемская академия», где вместе с Хендриком Голциусом и Корнелисом Корнелиссеном писал обнаженную натуру. Имея за плечами путешествие в Италию, Карел ван Мандер играл в этом содружестве ведущую роль. Как литератор он снискал в это время широкую известность на родине благодаря написанным на нидерландском языке духовным песнопениям и переводам из античных авторов, а также пьесам и всевозможным сочинениям, созданным для риторических обществ (он сам состоял членом одного из них — харлемской камеры «Белая гвоздика»).
В Харлеме началась и педагогическая деятельность Мандера. По сообщению биографа, у него было много учеников. Цель «Книги живописцев» и была, прежде всего,
I. Основы благородного истинного искусства живописи;
И. Жизнеописание античных художников;
III. Жизнеописание знаменитых итальянских художников;
IV. Жизнеописание знаменитых нидерландских и немецких живописцев;
V. Изложение «Метаморфоз» Овидия и толкование их символики;
VI. Как изображать, понимать и представлять фигуры.
Сочинение открывалось «назидательной поэмой» («het leerdicht») из четырнадцати глав, которая называлась «Основы благородного истинного искусства живописи» и предварялась авторским посвящением художественной молодежи. Опираясь на средневековую традицию дидактической поэзии и французскую poesie scientifique, Мандер излагал в стихотворной форме важнейшие понятия и правила искусства; он вводил читателя в профессиональную «кухню», рассказывая о технике живописи, о природе красок, их правильном выборе и сочетании, о композиции и т. д., давая попутно массу практических советов. Он знакомил читателя с известными в ту пору жанрами, причем в отличие от итальянских авторов посвятил отдельную главу пейзажу, который зародился и получил интенсивное развитие в заальпийских странах — Нидерландах и Германии. Пятый и шестой разделы книги также имели в первую очередь служебное назначение. Перевод Овидиевых «Метаморфоз» открывал для нидерландских художников богатейший источник мифологических сюжетов, издавна питавший классическое искусство. Биограф Карела ван Мандера сообщает, что, обучая своих учеников в Харлеме «итальянской манере», он в качестве примера приводил иллюстрации Голциуса к этой античной поэме, созданные в конце 1580-х годов в тесном сотрудничестве с Мандером. Последний раздел книги представлял собой своего рода руководство по иконографии по образцу популярной в то время «Иконологии» Чезаре Рипы (1593).
Три раздела «Книги живописцев» (второй, третий и четвертый) составляли жизнеописания художников: античных, итальянских, наконец, нидерландских и немецких. Если в «Жизнеописаниях древних художников» Мандер опирался на XXXV главу «Естественной истории» Плиния Старшего, известную ему по комментированным изданиям того времени, а следующий за ним раздел, посвященный итальянцам, представлял собой перевод избранных биографий из знаменитых «Vite» Вазари, дополненных новыми сведениями, добытыми Мандером, то «Жизнеописания нидерландских и немецких живописцев» являлись полностью оригинальным сочинением. Это самая большая и, бесспорно, наиболее ценная часть книги Карела ван Мандера. Именно «Жизнеописания знаменитых нидерландских и немецких живописцев» надолго пережили их автора, принеся ему славу «северного Вазари». Показательно, что в полном объеме сочинение Карела ван Мандера было переиздано лишь однажды, в 1618 году. Биографии же нидерландских и немецких мастеров давно существуют в качестве самостоятельной «Книги о художниках»: впервые вышедшая отдельным изданием в 1764 году, она затем неоднократно переиздавалась и переводилась на многие языки.