Конторщик из Гомеля в 1919 году был принят в ВЧК. Он быстро рос на чекистской и партийной работе. Руководил расследованием обстоятельств Кронштадтского и ряда крестьянских восстаний, дела Петроградской боевой организации В. Н. Таганцева. По поручению Ленина Агранов составлял списки лиц, подлежащих высылке из РСФСР на «философских пароходах».
По линии ОГПУ курировал творческую интеллигенцию. Дружил с Максимом Горьким, Владимиром Маяковским, Сергеем Есениным, Борисом Пильняком, Лилей Брик, Леопольдом Авербахом и другими. С февраля 1933 года являлся заместителем председателя ОГПУ СССР В. Р. Менжинского, а в июне 1934-го был назначен на должность первого заместителя наркома внутренних дел СССР Г. Ягоды. Руководил следствием по делу убийства С. М. Кирова. Именно Агранов вместе с Ягодой и Ежовым готовил материалы для главных политических процессов 1930-х годов.
Писатель и мемуарист Роман Гуль замечал, что Агранов, не связанный с Россией выходец из царства Польского, ставший палачом русской интеллигенции, явился фактическим убийцей замечательного русского поэта Н. С. Гумилева, а также профессора Николая Лазаревского, сестер милосердия Ольги Голенищевой-Кутузовой и Елены Манухиной и многих других. Кровавый след убийства — а не самоубийства — Сергея Есенина тоже тянется от него.
Жестокий и беспощадный Янечка, так Агранова назвала однажды Лиля Брик — любовница Маяковского, к смерти которого он тоже был причастен. Во-первых, Янечка перед смертью подарил поэту пистолет. По другой версии, его застрелил Агранов, который скрывался за плотными шторами окна, после того как от поэта вышла актриса Нора Полонская. Видно, хотел узнать что-то «секретное» об их взаимоотношениях.
До сих пор не ясна степень участия Агранова в смерти Максима Горького и его сына, жену которого он нагло пытался соблазнить.
Имея образование четыре класса, он иногда представлялся профессором психологии. В 1930-е годы специализировался на работе с представителями интеллигенции и «ленинской гвардией» — старыми большевиками. Лично долгое время читал курс истории ВЧК в Высшей школе ОГПУ — НКВД. Был первым наставником Виктора Абакумова, который в 1951 году тоже попал под «кровавое колесо». Являлся завсегдатаем литературных салонов Лили Брик и Зинаиды Райх, где удивлял своей осведомленностью о литературной жизни Советской России.
Агранов планировал «большой террор», как писала Ирина Ерофеева, и в декабре 1936 года на некоторый срок занял самую «горячую» должность — начальника Главного управления госбезопасности (ГУГБ) НКВД. Руками сотрудников ГУГБ в период с осени 1936-го по осень 1938 года в СССР по обвинению в «контрреволюционных преступлениях» было арестовано и расстреляно около 700 тысяч человек, в абсолютном большинстве крестьяне.
По данным историка Земскова, за этот период было расстреляно 681 692 человека.
В конце 1936 года Ежов получил от Сталина записку, в которой говорилось: