Еще во время учебы в училище – его Пейпер окончил в декабре 1934 года – он в начале 1933 года вступил в ряды гитлерюгенда, а затем – 16 октября 1933 года – был принят в СС претендентом (SS-Anw"arter). 23 января 1934 года, после окончания испытательного срока, 19-летний Пейпер стал полноправным членом СС (получив СС-№ 132496 и звание СС-штаффельманна). А вот членом нацистской партии – НСДАП – он так до конца войны и не стал. Высокий (в его личной карточке указан рост – 178 сантиметров), стройный, со светло-русыми волосами и правильными чертами лица, Йохен Пейпер был как бы идеалом арийца, как его понимали нацисты. А его юношеский идеализм, с которым он принимал все доктрины СС и Гитлера вкупе с храбростью и готовностью исполнять приказы командиров делали его тем человеком, каких искал Гиммлер для своих элитных отрядов. Учебу Пейпер фактически забросил – хотя она и давалась ему крайне легко – и стал все активнее участвовать к различным делах СС. А командование, в свою очередь, активно привлекало привлекательного молодого человека в различных публичным мероприятиям. Во время Имперского партийного съезда 4–9 сентября 1934 года молодой СС-штаффельманн был прикомандирован к чинам дипломатического корпуса, сопровождая дипломатов в своей эффектной черной форме с одним серебристым погоном. Его поведение было идеальным, и в награду за хорошую службу 7 сентября 1934 года он получил в СС звание штурмманна СС, а 15 октября того же года – роттенфюрера СС.
Окончив училище, Пейпер уже решил для себя связать свою дальнейшую службу с военизированными подразделениями нацистской партии – тем более что развернутая СС пропаганда всячески это приветствовала. 6 января 1935 года он был официально включен в состав частей усиления СС и 1 марта 1935 года получил звание унтершарфюрера СС. Командование сразу же обратило на него внимание: не только идеальные внешние данные и прекрасная физическая форма говорили в его пользу. Большую роль сыграл и живой ум Пейпера и его безусловные таланты, которые, не будь СС, дали бы ему возможность сделать блестящую карьеру в любой области. Молодой перспективный унтер-офицер был немедленно отправлен на учебу: сначала на курсы «Лейбштандарта СС Адольф Гитлер» в Ютербоге. 1 апреля 1935 года Пейпер успешно сдал выпускной экзамен на звание кандидата в офицеры СС, однако его успехи были отнюдь не выдающимися, как можно было предполагать: вердикт приемной комиссии был «bedingt geeignet» – «относительно годный». После этого было принято решение о продолжении его обучения, и 24 апреля 1935 года он был зачислен на 1-й курс созданного Паулем Хауссером юнкерского училища СС в Брауншвейге – там готовили офицерские кадры для будущих войск СС. В училище успехи Пейпера были несколько лучше, чем на курсах в Ютербоге, и 9 ноября 1935 года он получил звание штандартен-юнкера СС. С 10 февраля по 30 марта 1936 года, все еще являясь слушателем старшего курса училища, Пейпер проходил стажировку (как и было положено по учебному плану для наиболее отличившихся курсантов) на курсах командиров взводов в Дахау. Во время командировки в Дахау он получил очередное звание штандартен-обер-юнкера СС (со старшинством с 25 февраля 1936 года).
1 апреля 1936 года, успешно завершив курс учебы в Брауншвейге, Иоахим Пейпер был откомандирован в «Лейбштандарт СС Адольф Гитлер» и в конце месяца – 20 апреля 1936 года – получил свое первое офицерское звание унтерштурмфюрера СС. Ему был 21 год, что вполне укладывалось в общепринятые в Германии правила не только в СС, но и рядах вермахта. В 1936 году, сдав спортивные нормативы, Пейпер получил право носить Имперский спортивный значок в бронзе (Reichss-portabzeichen in Bronze) и Спортивный значок СА в бронзе (SA-Sportabzeichen in Bronze). Кроме того, до войны он, как и большинство офицеров СС, был награжден почетным кинжалом СС (Ehrendegen der SS) и кольцом «Мертвая голова» (Totenkopfring der SS).
18 февраля 1938 года Пейпер возглавил взвод 11-го штурма 3-го штурмбанна «Лейбштандарта», а 18 февраля 1938 года стал адъютантом 3-го штурмбанна. В составе «Лейбштандарта» он принял участие в «Цветочных войнах» – бескровных операциях, завершившихся бескровным присоединением к Германии Австрии и Судетской области. Как следствие он получил право на ношение Медали в память 13 марта 1938 года (Medaille zur Erinnerung an den 13.3.1938) и Медали в память 1 октября 1938 года (Medaille zur Erinnerung an den 1.10.1938). Однако очень скоро – уже 4 июля 1938 года – он был откомандирован из «Лейбштандарта» в личный штаб рейхсфюрера СС для исполнения адъютантских обязанностей. Большую роль в этом сыграл, конечно же, его внешний вид: руководители Третьего рейха – и Гиммлер не был здесь исключением – всегда очень любили, чтобы их адъютанты отвечали всем требованиям, предъявляемым расистской идеологией к внешнему виду «истинного арийца». А Пейпер в этом отношении был идеальной кандидатурой.