Графский герб с надписью «Diex lo volt», позолоченная корона над двумя львами и крестами-эмблемы старинного французского рода Тулуз-Лотреков. Предки Тулуз-Лотрека были среди первых крестоносцев, вошедших в XI веке в Иерусалим. Это не помешало им впоследствии выступить против папы и короля. Папские проклятия и отлучение от церкви сопровождаются конфискацией земельных угодий.
Но когда стране нужны мужественные бойцы, Лотреков вновь призывают на службу. Франциск I назначил одного из Лотреков (Оде де Фуа Лотрек, + 1528) своим маршалом. Последний погибает под Неаполем. Быть может, от руки убийцы, быть может, от чумы, быть может — от того и другого сразу. Отец художника, Альфонс де Тулуз-Лотрек, — замечательный кавалерист и знаток лошадей, страстный охотник, беспокойный и редкий гость в замке Альби — был эксцентричным человеком. Скачки и соколиная охота занимали его больше, чем судьба собственного сына. К тому же и его брак с графиней Адель Тапье де Селейран был отмечен печатью безразличия — брак двоюродных брата и сестры, продиктованный стремлением материально укрепить беднеющий род Тулуз-Лотреков и оказавший влияние не только на психику и эмоциональный мир ребенка, но и на его физическое развитие. Родители впоследствии осознали это и с беспокойством следили за хрупким здоровьем единственного сына.
Анри де Тулуз-Лотрек родился 29 ноября 1864 года в городке Альби в замке дю Боек. В Альби в настоящее время находится одно из крупнейших собраний его картин, литографий, рисунков — известный музей Анри де Тулуз-Лотрека. Маленький Анри вырастает под опекой матери среди своих двоюродных братьев и сестер. Он растет в семье, где вечерним досугом часто бывает рисование. Известно, что отец и мать Тулуз-Лотрека были замечательными рисовальщиками. Особенно отец. Мать посвящает все свое время сыну (когда Анри исполнилось три года, у него родился брат, вскоре, однако, умерший).
В 1873 г. вся семья переезжает в Париж, где Анри поступает в лицей Фонтан. Мальчик учится блестяще. В лицее он встречается с двумя своими будущими друзьями, имена которых следует назвать. Луи Паскаль и Морис Жойян, известный впоследствии торговец картинами, сменивший Тео Ван-Гога в фирме Гупиль. Лотрек два раза выставляет у Жойяна. Третья выставка была посмертной. Жойян пишет первую большую двухтомную монографию о Тулуз-Лотреке с наиболее полной пока библиографией его произведений (1926-27). Он же впервые приводит в ней сведения о том, что Лотрек в лицее получал первые премии по латыни, французской грамматике и английскому языку. С английского языка Лотрек переводит впоследствии книгу о соколах. Однако уже в 1875 г. у Лотрека проявляются первые признаки частых заболеваний и будущих нервных припадков. Он вынужден прервать учебу в лицее. Частные учителя под наблюдением матери руководят его занятиями. Отец тем не менее все еще продолжает брать сына с собой на охоту, учит его ездить на лошади в надежде вырастить достойного продолжателя дворянского рода. Вскоре, однако, происходит несчастный случай, который изменяет течение всей последующей жизни Лотрека (точно так же как отношение к нему отца). 30 мая 1878 г. Анри поскользнулся на паркете в замке дю Боек и сломал левую ногу. Долгое время он лежит в гипсе. Кость срастается медленно. Еще не совсем оправившись от болезни, он во время прогулки на глазах у матери вторично ломает на этот раз правую ногу. Все повторяется вновь. Родители приглашают лучших врачей. Длительное бездействие. Рост костей нижней части тела приостанавливается. Верхняя часть развивается, однако, нормально. Походка Анри становится неуверенной, и он постепенно начинает осознавать, что стал калекой. Одиночество, дни без друзей, дни, когда он упрекает мать за то, что она родила его, совершенно изменившие характер, настроение и мысли мальчика! Его единственное развлечение в это время — рисунки. Он рисует буквально все. Под открытым небом и в комнате, фигурные композиции и портреты. Постепенно развлечение становится радостью, а затем и просто необходимостью: уметь больше, научиться всему! В это же время Лотрек пытается сделать первые иллюстрации к рассказу «Cocotte», написанному его молодым другом Этьеном Девизмом (1879). Под одним из писем он так и подписывается «будущий художник А. де Т. Л.» (X, 1881).