Студийная работа Пейджа продолжалась почти три с половиной года. За это время он удосужился даже выпустить первый (и единственный) свой сингл «She Just Satisfies» / «Keep Moving» для фирмы Fontana. Тогда же он создал дуэт с певицей Джекки Де Шеннон (Jackie De Shannon), которая, по утверждению многих, была первой настоящей и сильной любовью в жизни Джимми. Примерно в это же время Пейдж познакомился с Эриком Клэптоном (Eric Clapton), который стал его близким другом. Однако отношения были вскоре испорчены (и надолго), после того как Эндрю Олдхэм (Andrew Oldham), в то время менеджер «Rolling Stones», являвшийся шефом звукозаписывающей компании «Immediate Records», где тогда трудился Пейдж, опубликовал запись совместного музицирования Клэптона и Пейджа, на квартире у последнего, без какой-либо договоренности с Эриком.
К лету 1966 года Джимми стал значимой величиной в лондонском музыкальном мире, но по большому счету известен он был только профессионалам. Широкая публика не имела понятия о выдающихся способностях Пейджа, так как имя сессионного музыканта не так уж часто указывается на конверте пластинки. Естественно, Джимми постепенно осознавал, что в качестве студийного музыканта прославиться почти невозможно, и настоящая слава может ждать его лишь в наполненном публикой концертном зале Поэтому, когда ему поступило предложение присоединиться к группе «Yardbirds», он согласился не задумываясь, даже несмотря на то, что звали его в качестве бас-гитариста.
Справедливости ради стоит заметить, что впервые предложение от «Yardbirds» поступало к Джимми еще год назад. Но тогда он отказался, вместо себя порекомендовав Джеффа Бека (Полный благодарности Бек тогда презентовал Пейджу редкую гитару). На этот раз Джимми стал полноправным членом группы. Пришел он на место Пола Сэмвелла-Смита (Paul Samwell-Smith), который покинул коллектив ради карьеры продюсера, то есть именно ради той работы в студии, от которой так стремительно избавлялся Пейдж.
«The Yardbirds» были заметным явлением на британской ритм-энд-блюзовой сцене. С момента своего основания в 1963 году они были стабильно популярны, особенно после того как стали регулярно выступать в клубе «Crawdaddy» в Ричмонде, где когда-то выступали «The Rolling Stones». На первом этапе карьеры в состав группы входил Эрик Клэптон, чья игра доводила фанатов до исступления и чьи версии американских блюзовых стандартов до сих пор вызывают чувство восхищения у меломанов. Кроме Клэптона в группе тогда выступали Кит Рельф (Keith Relf) — вокал, Пол Сэмвэлл-Смит — бас, Джим Маккарти (Jim McCarty) — барабаны и Крис Дреджа (Chris Dreja) — ритм-гитара. Однако спустя почти полтора года «Yardbirds» стали исполнять более коммерческую музыку, используя в качестве исходного материала композиции Грэма Гоулдмэна (Graham Goldman). Популярность группы стремительно пошла вниз, Клэптон выразил свой протест, и в феврале 1965-го покинул состав. Именно тогда Пейдж получил первое приглашение. Пришедший на место Клэптона Бек сумел на какое-то время поднять интерес к группе. Но к лету 1966 года «Yardbirds» катастрофически нуждались в свежих идеях. Именно Пейдж и стал их генератором. Уже первый сингл «Happenings Ten Years Time Ago»/«Psycho Daisies», записанный при участии Джимми и выпущенный в ноябре 1966-го, продемонстрировал перспективную гитарную связку Пейдж — Бек. Джимми играл на соло-гитаре, создав прецедент игры двух соло-гитар, что несколько позже станет фирменным атрибутом и будет усиленно эксплуатироваться такими монстрами хэви-метал, как «Judas Priest» и «Iron Maiden».
Кстати, и в фильме Микеланджело Антониони «Blow Up», который и по сей день считается классикой поп-арта и где в эпизодической роли снимались «Yardbirds», Пейдж играет на той же ведущей гитаре. Сам эпизод с участием Пейджа оказался весьма занимательным. Главный герой фильма — профессиональный фотограф — заходит в клуб, где выступают «Yardbirds». В середине песни у Бека начинаются проблемы с усилителем, он начинает его крутить, дергать за шнуры, потом просто стучать рукой. Из зала приходит помощь в виде некого очкастого «ботаника», который также оказывается бессилен. Тогда Джефф с размаха разбивает свою гитару об усилитель и бросает обломки в зал. Толпа, которая до этого вела себя достаточно спокойно, мгновенно взрывается и вступает в яростную схватку за обломки. Фотографу «везет» — он выхватывает кусок грифа со звукоснимателем и выбегает на улицу. Ровно через минуту он выбрасывает «приз» за полной ненадобностью. В этой сцене абсурд граничит с реальностью и абстракцией в равной мере — такое уж тогда было время.