Из трех братьев Рагулиных наиболее мощно выступал Александр, который быстро обратил на себя внимание других тренеров. Например, Анатолия Тарасова из ЦСКА. И в 1962 году Рагулин оказался в этом прославленном клубе, а чуть раньше его призвали под знамена национальной сборной. Правда, дебют молодого хоккеиста едва не закончился провалом. Рагулин играл против сборной Канады, и в середине игры у него сломалось лезвие на одном коньке. Говорить об этом Рагулин никому не стал, поскольку запасных коньков тогда не было и его бы сразу усадили на скамейку запасных. Поэтому играл на одном коньке, не выходя из своей зоны и действуя не слишком изобретательно — как только получал шайбу, тут же отправлял ее подальше от своих ворот. В итоге никто ничего не заметил. И хотя за ту игру Рагулина не хвалили, но в сборной и в ЦСКА оставили.
Помимо хоккея Рагулин еще успевал учиться в Московском областном педагогическом университете, который в те годы был четвертым в мире после Кембриджа, Оксфорда и Гарварда по числу учившихся там чемпионов мира и Олимпийских игр. Рагулин учился старательно, особенно любил анатомию и физиологию.
Рагулин практически сразу вошел в число лучших игроков советского, а затем и мирового хоккея. Обладая богатырским телосложением — рост 185 см, вес 105 кг, — он не строил свою игру лишь на силовом единоборстве и выполнении чисто разрушительных функций. Отличное видение поля, отточенная техника, невозмутимость и рассудительность позволяли ему быть истинным конструктором игры. Овладев шайбой, он моментально точнейшим пасом направлял в атаку партнеров. А сильнейший бросок с синей линии позволял Рагулину нередко добиваться успеха и самому.
В ЦСКА при Анатолии Тарасове тренировки были чрезвычайно изнурительными, но Рагулин всегда подходил к ним творчески — без нужды себя никогда не перегружал. В спортзале, где его товарищи по команде наращивали мышечную массу, тягали штанги, приседали по 100 раз с 20-килограммовыми дисками, он нашел один, 12-килограммовый, и с ним занимался. Все хоккеисты знали, что это «блин Палыча», и не трогали его. К слову, уважительное прозвище Сан Палыч ему придумал лично Тарасов. Рагулина действительно все уважали за его силу и невозмутимость, причем не только товарищи по команде, но и соперники. Последние в играх против ЦСКА всегда старались как можно меньше соприкасаться с Рагулиным, который высился перед своими воротами будто неприступная скала. Достаточно сказать, что, когда ЦСКА тренировался под открытым небом в Архангельском, Рагулин со всего разбега врезался плечом в сосну и после этих ударов шишки сыпались с дерева как град. Больше никто в команде так делать не умел.
По словам самого Рагулина: «В жизни я спокойный, но когда выходил на площадку, просто зверел. Мог размазать по борту любого, если замечтается. Даже слушок пошел о моей жестокости, хотя играть я старался всегда по правилам и удовольствия от свалок не получал».
Несмотря на железную дисциплину, царившую в ЦСКА, игроки армейской команды все-таки находили возможность и расслабиться — как тогда говорили, «нарушать спортивный режим». Обычно игроки разбивались на небольшие группки по нескольку человек и на несколько дней становились завсегдатаями лучших столичных ресторанов. Рагулин обычно проводил время с тремя своими партнерами по команде: Кузькиным, Локтевым и Альметовым. Любимый тост был краток: «За нашу победу!» Маршрут был постоянным: сначала «зависали» в Сандуновских банях, после чего перемещались в находившийся неподалеку ресторан «Узбекистан». Причем иногда даже пили перед решающими матчами, но на игре это совершенно не отражалось — пить в те годы спортсмены умели.