Конрада арестовали последним из всех 29 июля 1938 г. Поздняя дата, вероятно, спасла ему жизнь: сотрудники Института востоковедения, арестованные в 1937 г., пошли под расстрел, а пострадавшие в 1938 г. либо были довольно скоро освобождены (Е. М. Колпакчи, А. Е. Глускина), либо оказались в лагерях. Николай Иосифович более года находился под следствием в Ленинграде, а в конце 1939 г. осужден на пять лет и отправлен в лагерь около города Канска (Красноярский край). В эшелоне, а затем в самом лагере он и встретился с Н. И. Воротынцевым. Тот вспоминал, что заключенные, еще не зная, кто их спутник, окрестили его «профессором». Политические жалели «профессора», защищали его от уголовников, а во время тяжелых работ Воротынцев (звеньевой) вспоминал фразу Наполеона в передаче Е. В. Тарле «Ослов и ученых в середину!» и ставил профессора в середину группы рабочих, где было полегче. Потом ему нашли физически не трудную, но ответственную работу: очищать пешней от снега и мусора железнодорожную стрелку. Лежа на нарах, член-корреспондент (как позже выяснилось, этого звания его не лишили) говорил: «Эта работа мне внутренне импонирует. Во-первых, я один. Никто не мешает поразмышлять. К тому же не слышно блатного жаргона. А во-вторых, и это главное, я с пешней, эмблемой трудового процесса, направленного на расчистку путей».
Но в лагере ученый пробыл лишь несколько месяцев. Наталья Исаевна хлопотала за него, по ее просьбе к хлопотам подключился президент Академии наук В. Л. Комаров, и в апреле 1940 г. участь заключенного была смягчена. Его перевели в Москву во Внутреннюю тюрьму НКВД (Лубянка), пообещав пересмотреть дело. А до того ему дали работу по специальности. Прежде всего, он должен был переводить перехваченные японские и китайские военные тексты. Но оставалось время и для науки. Лишенный всего остального, заключенный ушел в работу. За год и четыре месяца удалось сделать больше, чем когда-либо за тот же срок на свободе. Такой парадокс!
В заключении Конрад выполнил самую большую по объему переводческую работу, причем с древнекитайского языка, которым он со студенческих лет не занимался. Это два знаменитых военных трактата VI–V вв. до н. э. Сунь-цзы и У-цзы. Переводы и исследования Конрада впоследствии (1950 и 1958) были опубликованы. Тогда же он вчерне, по собственной оценке, написал очерки классической японской и классической китайской литературы (к китайской литературе он также обратился впервые). Эти очерки, видимо, не вполне удовлетворяли автора, не издавшего их при жизни. Часть очерка японской литературы вышла посмертно в 1974 г., а очерк китайской литературы лишь в 1996 г. На одной из страниц рукописи по китайской литературе сохранилась помета: «1 августа 1941 г. Внутренняя тюрьма НКВД». Работал Конрад в заключении и над картотекой начатого еще в Ленинграде большого японско-русского словаря, впоследствии карточки войдут в словарь, который будет издан в год смерти Николая Иосифовича.
Пересмотр дела шел более года, возможно, органы НКВД ждали, пока будет выполнен предусмотренный объем переводческой работы. 6 сентября 1941 г. заключенный Конрад был освобожден со снятием судимости, но без реабилитации, которая произойдет лишь посмертно. Ему выплатили академическую зарплату за три года. Сразу же он был назначен заведующим японской кафедрой Московского института востоковедения, вместе с которым вскоре эвакуировался в Фергану. Как он писал в 1942 г. В. М. Алексееву, «мне постарались полностью воссоздать то положение, которое было до всего, полностью. И я это очень ощущаю. Никто и ничто мне не напоминает, не смеет напомнить о чем-нибудь». Когда в 1960 г. в Москве проходил всемирный конгресс востоковедов, где Конрада очень ждали, но он не явился, сославшись на болезнь, то коллеги объясняли это страхами, сидевшими в нем с тех лет.
Больше Николай Иосифович никогда не жил в Ленинграде, во время войны его квартира была разбомблена. В 1944 г. он переехал из Ферганы в Москву, где жил до конца своих дней, вскоре получив квартиру в академическом доме на Большой Калужской улице (с 1957 г. Ленинский проспект). В первые послевоенные годы он продолжал активно преподавать и занимать административные посты, помимо заведования кафедрой, он возглавлял Московскую группу Института востоковедения АН СССР (который еще находился в Ленинграде).
Публикации Конрада, возобновившиеся с 1944 г., отражают изменение ситуации в советской науке. Показательны названия некоторых из них – «Чехов в Японии», «Белинский и японская литература»: проблема влияния русской культуры на мировую культуру стала приоритетной. В публикациях по языку тех лет уже нет никакой «классовости языка» (еще до осуждения ее Сталиным), зато, опять-таки в духе еще не написанной сталинской брошюры, говорится о «языковом единстве народа», обеспечивающем «национальное единство».