Карлос сравнительно редко мог встречаться с отцом, так как Филипп II редко бывал в Испании, пока не стал королём. В 1554 г. он женился на английской королеве Марии Тюдор, эту мачеху Дон Карлос так и не увидел. По брачному договору, если бы у Марии и Филиппа были дети, на что Мария так искренне надеялась, старший сын должен был унаследовать Англию, Нидерланды и Франш-Конте, но Испания и зависимые территории отходили Дону Карлосу. Если бы детей в браке не было, права Филиппа в Англии теряли силу.
С самого начала жизни Дона Карлоса всё указывало на то, что он трудный, вспыльчивый ребёнок, и это тоже указывает на возможную родовую травму мозга. Венецианский посол в тревоге сообщал своему правительству, что Карлос родился с зубами и что он кусал и даже пытался жевать груди у своих кормилиц, причинив трём из них болезненные повреждения. Он очень не скоро начал говорить и сильно заикался, пока не повзрослел. Позже замечали, что хотя у него приятный голос, он произносил слова со значительным трудом, особенно трудно ему было выговаривать буквы «р» и «л». Тьеполо замечает, что первое слово, которое он произнёс, было «нет».
Он был своеволен и упрям и не любил учиться по книгам. «Когда, — так сообщал венецианский посол Паоло Тьеполо в 1563 г., — он переходил от детства к зрелости, ему не нравилось ни ученье, ни оружие, ни верховая езда, никакие достойные дела, честные и приятные, он только любил вредить людям… Во всём он проявляет большую неохоту к тому, чтобы приносить пользу, и очень сильную склонность к тому, чтобы причинять вред. Он разговаривает с трудом». «Меня очень огорчает, — сообщал Онорато Хуан, — что он не делает таких успехов, каких я бы желал». «Что касается его занятий, — писал дон Гарсиа де Толедо, — он очень медленно продвигается, потому что учится неохотно. То же самое касается гимнастических упражнений и фехтования». «Любопытен в своих вопросах и довольно умён, — заявлял английский посол в 1563 г., — но в остальном совсем неучёный».
Он совершенно обожал своего дедушку-императора из-за его военных успехов и выражал желание увидеться с ним. Карл V отрёкся от императорского престола и удалился в монастырь иерономитов в Юсте в Испании. Дон Карлос горел таким желанием увидеться с дедом, что его новый воспитатель, дон Гарсиа де Толедо, с трудом удержал его от того, чтобы он сел на лошадь и тут же отправился на встречу со своим знаменитым предком.
В конце концов договорились о встрече в Вальядолиде в октябре 1556 г. Дон Карлос, полный воинственного задора, с величайшим интересом слушал рассказ императора о его кампаниях. Но когда император признался, что в одном случае он вынужден был отступить, Карлос разозлился, уверяя, что он никогда бы не побежал. При определённых обстоятельствах, повторил его дедушка, это может быть единственным разумным выходом. Дон Карлос негодовал. «Сдаётся мне, — сказал Карл своей сестре, Элеоноре Французской, — что он очень несдержанный молодой человек; мне не нравятся его манеры и его нрав: я не знаю, кем он когда-то станет».
Карлос был физически неприятен, буквально до грани уродства. Голова его была ненормально велика, одно плечо выше другого, ноги хилые, одна немного короче другой, правая рука, очевидно, высохла, цвет лица бледный. Маленьким ребёнком он был настолько больным, что ходили слухи, будто он вряд ли выживет. «Принц, — писал венецианский посол, — маленького роста. Фигура его уродлива и неприятна. Лицо у него грустное, это потому, что с трёх лет он болеет, почти непрерывно, четырёхдневной малярией, что его изматывает». Первоначально «низенький и худенький», он начал толстеть по мере того, как взрослел; «в этом нет ничего удивительного, — заметил английский посол Томас Чалонер 21 ноября 1562 г., — так как он очень любит поесть». Все обсуждали его волчий аппетит. «Он ест жадно, — сообщал посол императора барон Дитрихштейн, — и только закончит, как тут же готов начать снова. Это обжорство и есть причина его болезни, и многие думают, что если он не остановится, то долго не проживёт».