Постановлением ЦИК и СНК СССР от 20 июня 1933 года была учреждена Прокуратура Союза ССР. Первым Прокурором СССР стал Иван Алексеевич Акулов, известный революционер, партийный и советский деятель, но человек далекий не только от прокурорской, но и вообще от юридической деятельности. Крыленко был бы более уместен на этом посту, однако его обошли. Он продолжал руководить Наркоматом юстиции РСФСР и в 1935 году все еще находился на вершине славы. К этому времени Крыленко был награжден орденами Ленина и Красного Знамени, а главное, был исключительно популярен в народе.
На 1935 год пришлись два юбилея Н. В. Крыленко — тридцатилетие активной революционной и профессиональной деятельности и пятидесятилетие со дня рождения. В печати появилось много приветственных статей и поздравлений. В одном из них отмечалось: "Мечом и пером, делом и пламенным словом т. Крыленко отстаивал и отстаивает партийные позиции в борьбе против врагов революции, открытых и тайных".
Н. В. Крыленко был человеком разносторонних интересов. Среди советских прокуроров трудно найти другого, который имел бы такие далекие от юриспруденции увлечения и в которых он достиг подлинного мастерства. К пятидесяти годам Крыленко был не только лидером в юридической науке и практике (список его трудов приближается к сотне), но и признанным мастером-альпинистом, не раз штурмовавшим неприступные горные вершины, иногда даже в одиночку. О своих походах он тоже написал несколько интересных книг. Кроме того, он активно занимался развитием советского туризма, руководил обществом охотников и шахматной организацией страны.
В 1936 году Н. В. Крыленко занял высокий пост наркома юстиции Союза ССР.
Приближался 1937 год — год массовых репрессий. 5 декабря
1936 года принимается новая Конституция СССР, известная как "сталинская". Николай Васильевич Крыленко находятся в самом расцвете сил. Казалось бы, такой пламенный революционер, незаурядный человек, искренне преданный идеям большевизма и доказавший это всей своей деятельностью, должен был бы рассчитывать на звездную карьеру но этого не случилось.
К этому времени у Николая Васильевича была уже большая семья: вторая жена, Зинаида Андреевна Железняк, и четверо детей: сыновья Сергей и Николай и дочери Ирина и Марина.
Над головой Н. В. Крыленко плотно сгущались грозовые облака. 26 июля 1937 года был арестован его брат, Владимир Васильевич, работавший на Уралмедстрое заместителем главного инженера (расстрелян в марте 1938 года).
В конце 1937 года в ЦК ВКП(б) "неожиданно" стали поступать письма и заявления, чернящие деятельность Н. В. Крыленко. В одном из них на имя Мехлиса (копия предусмотрительно была направлена и в Секретариат И. В. Сталина), озаглавленном "О хамах и иудах", сообщалось, что Крыленко груб по отношению к посетителям, а его "неистовый крик, топанье ногами, угрозы, стопудовые остроты… общеизвестны", что любимым изречением наркома было "расстрелять", произносимое им через неоднократное "р-р-р" и "металлическим" ("под Троцкого") голосом". Доносчик припомнил одну фразу, якобы произнесенную Крыленко, когда тот был прокурором республики и одновременно руководителем Союза охотников: "Мне дан мандат и на зверей, и на людей".
12 января 1938 года открылась 1-я сессия Верховного Совета СССР, избранного на основе новой Конституции СССР. Шел процесс формирования правительства СССР, выступали делегаты. Один из них, депутат М. Д. Багиров, видимо, выполняя чью-то установку, подверг резкой критике деятельность наркома юстиции Крыленко. В новое правительство Николай Васильевич уже не вошел.
Органы НКВД составили справку на его арест еще 15 декабря 1937 года, но выжидали месяц и дали ей ход только после окончания сессии. В ней отмечалось, что Крыленко "является активным участником антисоветской организации правых и организованно был связан с Бухариным, Томским и Углановым.
С целью расширения антисоветской деятельности насаждал контрреволюционные кадры правых в наркомате. Лично выступал в защиту участников организации и проталкивал буржуазные теории в своей практической работе". Далее указывалось, кем именно он изобличается. Картина вырисовывалась такая: Крыленко якобы считал, что ЦК пытается обмануть страну, скрывая истинное положение дел, что руководство страной и партией оказалось в руках людей, не понимающих значения закона и свое усмотрение ставящих выше закона, что страна заинтересована в скорейшей смене этого руководства. Сталина же Крыленко называл диктатором, загнавшим страну в тупик, и считал, что он должен быть снят с поста Генерального секретаря.
31 января 1938 года нарком внутренних дел Н. И. Ежов начертал на этой справке лаконичную резолюцию: "Арестовать", и в тот же день его заместитель Фриновский подписал ордер на арест Крыленко и на производство у него обыска.
В ночь на 1 февраля 1938 года Николая Васильевича арестовывают в своей квартире в доме № 25 по Новинскому бульвару. Так начался непродолжительный, но самый трагичный период его жизни.