Уже в этот флорентийский период (1504–5, 1506–7) он пишет картины, известные теперь во всем христианстве и за его пределами. В Будапештском музее хранится «Портрет молодого человека», возможно, автопортрет, с таким же беретом и боковым взглядом глаз, как на авторитратто в галерее Питти. Когда Рафаэлю было всего двадцать три года, он написал прекрасную Мадонну дель Грандука (Питти), чье идеально овальное лицо, шелковистые волосы, маленький рот и леонардовские веки, опущенные в задумчивости, обрамлены теплым контрастом зеленой вуали и красного одеяния; Фердинанд II, великий герцог Тосканы, находил такое удовольствие в созерцании этой картины, что брал ее с собой в путешествия, отсюда и ее название. Столь же прекрасна «Мадонна дель Карделино со златокудрой птицей» (Уффици); Младенец Иисус не является шедевром замысла и дизайна, но игривый Святой Иоанн, триумфально прибывающий с пойманной птицей, радует ум и глаз, а лицо Богородицы — незабываемое изображение терпимой нежности молодой матери. Рафаэль подарил эту картину Лоренцо Наси на свадьбу; в 1547 году землетрясение разрушило особняк Наси и разбило картину на фрагменты; фрагменты были так ловко воссоединены, что только Беренсон, увидев ее в Уффици, смог догадаться о ее превратностях. Мадонна на лугу» (Вена) — менее удачный вариант; однако и здесь Рафаэль дает нам замечательный пейзаж, омытый мягким голубым светом вечера, спокойно падающим на зеленые поля, неспешный ручей, возвышающийся город и далекие холмы. Картина «Прекрасная садовница» (Лувр) едва ли заслуживает звания самой известной из флорентийских Мадонн; она почти дублирует Мадонну луга, делает Крестителя нелепым с носа до пят и искупается лишь идеальным Младенцем, стоящим с пухлыми ножками на босой ступне Девы и смотрящим на нее с любящим доверием. Последней и самой амбициозной из них в этот период была Мадонна дель Балдаккино (Питти) — Богоматерь, восседающая под балдахином (baldacchino), с двумя ангелами, распускающими его складки, двумя святыми по бокам, двумя ангелами, поющими у ее ног; в целом обычное представление, знаменитое только потому, что оно принадлежит Рафаэлю.
В 1505 году он прервал свое пребывание во Флоренции, чтобы посетить Перуджу и выполнить там два заказа. Для монахинь Святого Антония он написал алтарную картину, которая сейчас является одной из самых ценных картин в музее Метрополитен в Нью-Йорке. В раме, украшенной прекрасной резьбой, на троне восседает Богородица, похожая на вордсвортовскую «монахиню, задыхающуюся от обожания»; на ее коленях Младенец поднимает руку, чтобы благословить младенца Святого Иоанна; две изящные женские фигуры — Св. Цецилия и святая Екатерина Александрийская — по бокам от Девы; на переднем плане святой Петр хмурится, а святой Павел читает; а выше, в люнете, Бог-Отец в окружении ангелов благословляет Мать своего Сына и одной рукой держит мир. На одной из панелей пределлы Христос молится на Елеонской горе, пока апостолы спят; на другой Мария поддерживает мертвого Христа, а Магдалина целует Его пронзенные ноги. Совершенная композиция ансамбля, притягательные фигуры святых женщин, задумчивые и тоскующие, мощный замысел страстного Петра и уникальное видение Христа на горе делают «Мадонну Колонны» первым бесспорным шедевром Рафаэля. В том же 1506 году он написал менее впечатляющую картину — Мадонну (Национальная галерея, Лондон) для семьи Ансидеи: Дева Мария, строго возвышаясь, учит Младенца читать; слева от нее святой Николай Барийский, великолепный в своих епископских одеждах, тоже учится; справа Креститель, которому внезапно исполнилось тридцать, в то время как его товарищ по играм еще младенец, указывает традиционным пальцем Предтечи на Сына Божьего.
Из Перуджи Рафаэль, по-видимому, снова отправился в Урбино (1506). Теперь он написал для Гвидобальдо второго Святого Георгия (Ленинград), на этот раз с копьем; красивый молодой рыцарь, облаченный в доспехи, чей сверкающий синий цвет демонстрирует еще одну фазу мастерства Рафаэля. Вероятно, в тот же визит он написал для друзей самый знакомый из своих автопортретов (Питти): черный берет над длинными черными локонами; лицо еще юношеское, без следов бороды; длинный нос, маленький рот, мягкие глаза; в целом призрачное лицо, которое могло бы быть лицом Китса, — раскрывающее дух, чистый и свежий, чувствительный ко всем красотам мира.