Гиммлер вырос в консервативной, истово католической семье в Мюнхене. Его школьные друзья считали его замкнутым и необщительным. Он не отличался хорошим здоровьем и страдал от проблем с желудком, которые преследовали его всю жизнь. Несмотря на это, он пытался построить карьеру в армии. К его большому разочарованию, он не успел попасть на фронт перед капитуляцией и вместо этого пошел изучать агрономию в Мюнхенском техническом университете.
Гиммлер восхищался фрайкорами, которые разгромили коммунистов в Мюнхене. Он увлекся крайне правыми идеями, определяемыми антисемитизмом, милитаризмом и национализмом, а также глубоко заинтересовался религией, оккультизмом и германской мифологией. В 1923 году он вступил в НСДАП по рекомендации Эрнста Рёма, с которым он познакомился в крайне правых кругах города. Отмеченный наградами герой войны, Рём был одним из основателей и руководителем военизированного ответвления партии, штурмовых отрядов, или СА.
После провала «пивного путча» Гиммлер оказался в самой гуще событий. Ему удалось избежать тюрьмы, и он быстро возвысился в том вакууме, который образовался, когда партия оказалась запрещена и ее лидеры либо бежали, либо были отправлены за решетку. Когда в 1925 году НСДАП возродилась, Гиммлер стал членом СС, небольшого элитного охранного отряда в рамках СА, главной целью которого была защита Адольфа Гитлера от угроз, включая и те, что исходили изнутри движения. Первоначально эта небольшая группа включала в себя от силы десять человек. Гиммлер не был солдатом, но проявлял немалый талант к бюрократии, организации и планированию. Казалось, у него уже было четкое видение СС. В 1927 году он сообщил Адольфу Гитлеру о своих планах по превращению СС в расово чистые элитные войска, верное военизированное формирование, идеологически выстроенную организацию, которая подчинялась бы лично Гитлеру. Гитлер счел план Гиммлера способом ограничить власть СА, которые в период Веймарской республики стали практически неуправляемыми.
С поддержкой Гитлера Гиммлер быстро поднялся по служебной лестнице СС и в 1929 году был назначен рейхсфюрером СС, главой всей организации. На этом этапе численность СС составляла всего 300 человек. К концу 1933 года она превысила 200 000.
В отличие от СА, куда вербовали в основном выходцев из рабочей среды, Гиммлер сделал ставку на хорошо образованных представителей среднего класса. Он считал СС расовой и интеллектуальной элитой. Чтобы вступить в ряды СС, необходимо было продемонстрировать безупречно арийское родословное древо, восходящее к 1750 году. Зачастую преимущество давало юридическое образование. Также важны были такие качества, как беспощадность, фанатизм, верность и жестокость.
В СС все было пронизано личным интересом Гиммлера к истории, мифологии и расовой догме. При создании СС учитывался опыт исторических элитных формирований – самураев, Тевтонского рыцарского ордена и иезуитов. Члены СС должны были сформировать новый класс арийских воинов, каждый из которых воплощал в себе «сверхчеловека». В 1931 году Гиммлер начал организацию разведывательного подразделения СС, Службы без опасности рейхсфюрера СС, или СД.
После захвата власти в 1933 году начался процесс сплавления старого разведывательного аппарата Веймарской республики с собственной сетью партии. Со временем СС получили практически неограниченные возможности для расширения и проникновения в структуру немецкого общества. Вскоре под контролем Гиммлера оказались все полицейские силы Германии.
Значительное расширение СС в начале 1930-х годов предопределило неизбежность столкновения с головной организацией – СА, которая к 1933 году превратилась в крупнейшую военную силу Германии численностью более 3 миллионов человек. Подозревая, что Эрнст Рём планирует провести переворот и свергнуть его, Адольф Гитлер тайно вверил Гиммлеру задачу потеснить СА. В конце июня 1934 года СС нанесли удар по руководству СА, продемонстрировав эффективность и жестокость, которые станут отличительной чертой организации. В ходе так называемой «ночи длинных ножей» было арестовано или убито около двухсот человек из высших эшелонов власти СА.
Тайная полиция на государственном уровне стала называться гестапо, как и управление тайной полиции в Берлине, созданное Германом Герингом. К этому времени штаб СД уже переместился из Мюнхена в столицу. В связи с этим была проведена инвентаризация конфискованной литературы, которая показала, что коллекция уже разрослась до более чем 200 000 книг.