Из трех братьев Рагулиных наиболее мощно выступал Александр, который быстро обратил на себя внимание других тренеров. Например, Анатолия Тарасова из ЦСКА. И в 1962 году Рагулин оказался в этом прославленном клубе, а чуть раньше его призвали под знамена национальной сборной — в конце 1960 года. Правда, дебют молодого хоккеиста едва не закончился провалом. Рагулин играл против сборной Канады, и в середине игры у него сломалось лезвие на одном коньке. Говорить об этом Рагулин никому не стал, поскольку запасных коньков тогда не было и его бы сразу усадили на скамейку запасных. Поэтому играл на одном коньке, не выходя из своей зоны и действуя не слишком изобретательно — как только получал шайбу, тут же отправлял ее подальше от своих ворот. В итоге никто ничего не заметил. И хотя за ту игру Рагулина не хвалили, но в сборной и в ЦСКА оставили.
В январе 1961 года наш герой в составе сборной СССР отправился в товарищеское турне по Швеции. Были сыграны два матча против сборной Швеции, однако Рагулина выставили лишь в одной — последней. Он играл в паре с Александром Трегубовым во втором и третьем звене. Наши победили 3:2.
Спустя два месяца Рагулин отправился с национальной сборной на свой первый чемпионат мира — в Лозанне. Играл в паре со своим одноклубником по ЦСКА Генрихом Сидоренковым. И уже в первой же игре — против сборной США — забил свой первый гол. Больше на том чемпионате Рагулин не забивал. Впрочем, золотая эпоха советского хоккея тогда еще не наступила, поэтому наша сборная заняла в Швецарии всего лишь 3-е место. В следующем году сборная СССР в чемпионате мира не участвовала по причинам политического характера.
Помимо хоккея Александр в те годы успевал еще учиться в Московском областном педагогическом институте, который в те годы был четвертым в мире после Кембриджа, Оксфорда и Гарварда по числу учившихся там чемпионов мира и Олимпийских игр. Рагулин учился старательно, особенно любил анатомию и физиологию.
Рагулин практически сразу вошел в число лучших игроков советского, а затем и мирового хоккея. Обладая богатырским телосложением — рост 185 см, вес 105 кг, — он не строил свою игру лишь на силовом единоборстве и выполнении чисто разрушительных функций. Отличное видение поля, отточенная техника, невозмутимость и рассудительность позволяли ему быть истинным конструктором игры. Овладев шайбой, он моментально точнейшим пасом направлял в атаку партнеров. А сильнейший бросок с синей линии позволял Рагулину нередко добиваться успеха и самому.
В ЦСКА при Анатолии Тарасове тренировки были чрезвычайно изнурительными, но Рагулин всегда подходил к ним творчески — без нужды себя никогда не перегружал. В спортзале, где его товарищи по команде наращивали мышечную массу, тягали штанги, приседали по 100 раз с 20-килограммовыми дисками, он нашел один, 12-килограммовый, и с ним занимался. Все хоккеисты знали, что это «блин Палыча», и не трогали его. К слову, уважительное прозвище Сан Палыч ему придумал лично Тарасов. Рагулина действительно все уважали за его силу и невозмутимость, причем не только товарищи по команде, но и соперники. Последние в играх против ЦСКА всегда старались как можно меньше соприкасаться с Рагулиным, который высился перед своими воротами будто неприступная скала. Достаточно сказать, что, когда ЦСКА тренировался под открытым небом в Архангельском, Рагулин со всего разбега врезался плечом в сосну и после этих ударов шишки сыпались с дерева как град.
По словам самого Рагулина, он в жизни был спокойный, но, когда выходил на площадку, просто зверел. Мог размазать по борту любого, если замечтается. Даже слушок пошел о его жестокости, хотя играть Александр старался всегда по правилам и удовольствия от свалок не получал.
Несмотря на железную дисциплину, царившую в ЦСКА, игроки армейской команды все-таки находили возможность и расслабиться — как тогда говорили, «нарушать спортивный режим». Обычно игроки разбивались на небольшие группки по нескольку человек и на несколько дней становились завсегдатаями лучших столичных ресторанов. Рагулин обычно проводил время с тремя своими партнерами по команде: Кузькиным, Локтевым и Альметовым. Любимый тост был краток: «За нашу победу!» Маршрут был постоянным: сначала зависали в Сандуновских банях, после чего перемещались в находившийся неподалеку ресторан «Узбекистан». Причем иногда даже пили перед решающими матчами, но на игре это совершенно не отражалось — пить в те годы спортсмены умели.
Свою первую золотую медаль в регулярном первенстве страны Рагулин завоевал в 1963 году. В том же году он впервые стал и чемпионом мира в составе национальной сборной — турнир проходил в Стокгольме. С этого момента и началась золотая эпоха советского хоккея.