Родился в 1891 году в семье Григория Ягоды, мелкого ремесленника. По некоторым данным, отец будущего палача был не часовым мастером, а аптекарем. Ряд источников свидетельствуют, что настоящее имя отца наркома — Гирш Филиппович Ягуда или Иегуда.
В РСДРП с 1907 года. Арестовывался за революционную деятельность, два года находился в ссылке. В 1915 году был мобилизован в армию, где входил в военную организацию большевиков. Активный участник Октябрьской революции в Петрограде. После октября 1917 года работал в Высшей военной инспекции РККА, участвовал в гражданской войне на Южном и Юго-Восточном фронтах. С 1919 года — член коллегии Наркомата внешней торговли, с 1920 года — член Президиума ВЧК, с 1924 года — заместитель Председателя ОГПУ. Неоднократно встречался с В. И. Лениным. Удостоверения об утверждении Генриха Ягоды членом коллегии Наркомата внешней торговли и коллегии ВЧК подписаны лично В. УльяновымТениным.
На XVI съезде партии Генрих Ягода избирается кандидатом в лены ЦК ВКП(б), на XVII съезде — членом Центрального Комиета. Был членом ЦИК.
Обвинялся в сотрудничестве с царской охранкой, но Сталин счел представленные материалы неубедительными. Так как в свое время почти все архивы были уничтожены, подтвердить обвинение не удалось, и Сталин приказал «никогда к этому вопросу не возвращаться».
В декабре 1927 года в связи с десятилетием ВЧК — ГПУ — ОГПУ награжден орденом Красного Знамени. Как говорилось в представлении в Президиум ЦИКа, «одним из активных работников и ближайшим помощником т. Дзержинского по созданию органов ВЧК-ОГПУ был т. Ягода Генрих Генрихович, проявивший в самое трудное для страны время редкую энергию, распорядительность и самоотверженность в деле борьбы с контрреволюцией. Одновременно в качестве начальника Особого отдела т. Ягода имеет большие заслуги в деле организации и поднятия боеспособности Красной Армии. Ввиду этого Революционный Военный Совет ходатайствует о награждении т. Ягоды орденом Красного Знамени».
Впоследствии Г. Ягоду награждали не раз, в том числе орденом Ленина за участие в организации строительства Беломорско-Балтийского канала, который строили в основном заключенные.
В ноябре 1935 года стал первым из наркомов внутренних дел, кому было присвоено звание генерального комиссара госбезопасности. Ни Ф. Дзержинский, ни 3. Менжинский, ни другие его предшественники специальных званий не имели.