После окончания гражданской войны Крылов остался служить в Красной Армии и продолжал служить на Дальнем Востоке, командовал батальоном, с 1923 года — помощник начальника штаба стрелкового полка. Член ВКП(б) с 1927 года. В августе 1928 года окончил Курсы усовершенствования комсостава РККА «Выстрел». С 1929 года — начальник штаба стрелкового полка в 1-й Тихоокеанской дивизии. С 1931 года командовал батальоном в Благовещенском укрепрайоне. С 1936 года — начальник штаба Благовещенского укрепрайона. Полковник (17.02.1938).
С 1939 года — начальник отдела ОСОАВИАХИМа в Ставрополе. В мае 1941 года назначен начальником штаба Дунайского укрепрайона на южном участке советско-румынской границы в Одесском военном округе.
В этой должности встретил Великую Отечественную войну. В первый день войны вступил в бой с румынскими войсками, безуспешно пытавшимися перейти границу. Когда возникла угроза захвата врагом Одессы, войска с границы были отведены к ней, а полковник Н.И. Крылов был назначен в начале июля 1941 года заместителем начальника оперативного отдела Приморской армии. В условиях нехватки командиров в окружённой Одессе с 11 августа стал начальником оперативного отдела армии, а уже с 21 августа — начальником штаба Приморской армии. В этой должности прошёл от начала до конца оборону Одессы и оборону Севастополя. Генерал-майор (27 декабря 1941 года).
8 января 1942 года был тяжело ранен при артобстреле во время выезда в войска под Севастополем, по медицинским показателям подлежал эвакуации, однако по настоянию командующего армией генерал-майора Петрова был оставлен в городе. В конце марта вернулся к штабной работе, но незалеченная рана потом причиняла боль всю жизнь. Был эвакуирован из города в последние дни обороны со штабом армии на подводной лодке.
Затем более месяца был в резерве и писал отчёт об обороне Севастополя. В августе 1942 года назначен начальником штаба 1-й гвардейской армии, но через несколько дней срочно вызван в Сталинград и назначен начальником штаба 62-й армии, которая вела многомесячные уличные бои в городе. До прибытия нового командующего В. И. Чуйкова почти месяц командовал армией. На протяжении всей Сталинградской битвы со штабом оставался в городе, хотя штаб армии располагался примерно в 800 метрах от позиций врага. Там он стал близким другом В. И. Чуйкова, а также много месяцев его начальником был член Военного совета фронта Н. С. Хрущев. После войны Н.И. Крылов напишет очерк «Волжская твердыня».
После победы под Сталинградом генерал Крылов Н.И. назначен в мае 1943 года командующим войсками 3-й резервной армии Ставки Верховного Главнокомандования.
С июля 1943 года — командующий 21-й армией на Западном фронте. Генерал-лейтенант (9 сентября 1943 года). С октября 1943 года — командующий 5-й армией на Западном фронте, участвовал в Оршанской и Витебской операциях. Затем армия была передана 3-му Белорусскому фронту. Во главе этой армии ярко раскрылся полководческий талант Крылова. В ходе Белорусской стратегической операции 1944 года части армии успешно наступали у Витебска, Орши, Минска, штурмовали Вильнюс и отбивали контрудары врага под Каунасом. За отличное командование войсками в Белорусской операции указом Президиума Верховного Совета СССР от 19 апреля 1945 года Н. И. Крылову присвоено звание Героя Советского Союза и воинское звание генерал-полковника (15 июля 1944 года).
В октябре-декабре 1944 года Крылов два месяца лежал в госпитале в Москве (открылась старая рана), затем вернулся на пост командующего и отличился в Восточно-Прусской операции.
После победы над Германией 5-я армия в полном составе была переброшена на Дальний Восток и включена в состав 1-го Дальневосточного фронта. Участник Советско-японской войны в августе 1945 года. Вместе с командующим фронтом Маршалом Советского Союза К. А. Мерецковым им был предпринят дерзкий шаг против 3-й японской армии. В условиях проливного дождя, без артподготовки, через границу скрытно были выдвинуты передовые части, которые абсолютно внезапно для японцев атаковали и уничтожили долговременные огневые сооружения, прорвав глубоко эшелонированный приграничный оборонительный рубеж. За успешный разгром противостоящих группировок врага в этой операции Н. И. Крылову указом Президиума Верховного Совета СССР от 8 сентября 1945 года вторично присвоено звание Героя Советского Союза.
С октября 1945 Н.И. Крылов служил заместителем командующего Приморским военным округом. С января 1947 года — командующий войсками Дальневосточного военного округа (тогда в состав этого округа входили только Сахалин, Камчатка, Курильские острова и отдельные прибрежные района Приморского края).