Молодой монарх не хотел жить в мавританском алькасаре, где в свое время располагался Карл V с семьей и придворными. Император не слишком усердно заботился о внешнем облике замка. Еще меньше его занимали интерьеры, поэтому к приезду Филиппа дворец подвергся значительным изменениям: было отремонтировано и местами достроено здание, вложены немалые средства в украшение самых древних частей. В некоторых комнатах потолки покрыли позолотой и богатыми резными деталями. На стенах появились обои, в залах и галереях – картины и статуи. Почти все картины принадлежали кисти местных живописцев, представителей художественной школы, которая впоследствии успешно соперничала с итальянской. На расчищенном вокруг дворца участке был заложен рукотворный лес, со временем разросшийся и наполнившийся дичью. После реконструкции старая мавританская твердыня преобразилась в превосходную резиденцию, вполне достойную их величеств.
Испанские короли жили в мадридском алькасаре до 1734 года, когда здание сильно пострадало от пожара. Огонь бушевал почти неделю и от здания остались жалкие руины. Через несколько лет на его месте возник новый дворец, удивлявший роскошью даже французов. Однако и при Филиппе царская обитель отличась немалой величиной, изумляя богатством материала и качеством отделки. Дипломаты, приезжавшие в Мадрид той поры, называли обитель Филиппа «редкостью, какой не обладал ни один из государей во всем христианском мире».
Панегирики, безусловно, не отражали реального положения вещей и в большей мере это касалось города, который выглядел совсем не так, как представлялся в хвалебных одах. Приезжие не могли восхищаться местностью, обдуваемой пронизывающими ветрами, вызывающими кашель и другие печальные последствия. В разреженном воздухе Мадрида, согласно пословице, «с трудом гаснут свечи, и пресекается жизнь человека». Трудно наслаждаться видом пустыни, среди которой расположилась столица, обделенная водой и удобными путями сообщения. Вместо судоходной реки близ нее «плещется славный Мансанарес, летом превращающийся в сухой овраг». Показавшееся вначале выгодным положение города в центре полуострова уже не виделось таковым по прошествии лет. Более того, наследники Филиппа называли неудачный выбор столицы одной из причин упадка империи.
По словам американского историка В. Прескотта, «спустя 200 лет, испытанные неудобства едва не заставили испанских королей перенести резиденцию в Севилью, но было поздно. Мадрид слишком долго являлся единственным центром, куда стекались таланты и богатства со всех концов Испании. С ним соединялось слишком много патриотических чувств. Таким образом, наперекор всем невыгодам он останется, и вероятно навсегда, столицей испанской монархии».
Современный Мадрид условно разделяется на три района. За несколько веков сформировалось старинное ядро города, с узкими, хаотично переплетающимися проулками, мрачными тупиками и красивыми старинными зданиями. По мере удаления от центра можно заметить, как выпрямляются улицы, начиная пересекаться между собой перпендикулярно. По границам исторического района раскинулись кварталы, воплотившие в себе традиции градостроительства нового времени.
На плане Мадрида четко выделяются две большие оси, проходящие по улицам Гран Виа и Кастельяна.
Первая из них знаменита своими кинотеатрами и развлекательными центрами. Она возникла в начале XX столетия, в целом сохранив элегантный старинный вид, правда, если не замечать 100-метрового здания телеграфа. Вторая появилась примерно в то же время, но развивалась гораздо активнее и в итоге обрела эклектичный облик. Сегодняшняя Кастельяна ничем не напоминает прежнюю, поскольку ее старые постройки дополнены, а порой и вовсе оттеснены небоскребами; в огромных зданиях располагаются офисы крупных корпораций и национальные банки.
Средневековая планировка сохранилась вокруг площади Паха и в районе Пуэрта дель Соль, которая вместе с Пласа Майор и площадью Испании в плане образует треугольник, составляющий исторический центр столицы. Входящий в него ансамбль королевского дворца включает в себя площадь Ориенте, Оружейный музей, Мавританские сады. Недалеко раскинулся квартал, возникший в пору правления Габсбургов и оставшийся почти в неизменном виде. Сегодняшняя Пуэрта дель Соль лишь по традиции называется центром. Возникшая вместе с городом, она по-прежнему красива и значима, поскольку является точкой отсчета для основных автомагистралей страны. Именно от нее берет начало одна из главных улиц Мадрида – проспект Алькала.