Некоторые самолеты переделывались в ремонтных мастерских. Модификация состояла в снятии вооружения, блокировании створок бомболюка и в удалении верхнего фонаря стрелка. Хотя самолет предназначался в основном для перевозки срочных грузов, был также вариант для перевозки 9-10 десантников на брезентовых сидениях. Первый MC-21-I поступил в "Дай Ниппон коку" в феврале 1940 г. под бортовым номером J-BFOA и был назван "Хией".
Хотя ВВС были в целом удовлетворены данными бомбардировщика Мицубиси, в ноябре 1939 г на испытания поступил Ки-49 "Донрю" фирмы Накадзима, который предназначался ему на смену. Тем временем воздушный штаб потребовал дальнейших модернизаций Ки-21 в отношении увеличения скорости и потолка. Причем это предлагалось сделать без остановки сборочных линий! Двигатели "тип 97" было решено заменить на новые 14-цилиндровые Ха-101 фирмы Мицубиси ("армейский тип 100") мощностью 1500 л. с. на взлете при 2450 оборотах. На высоте 2600 м мощность составляла 1540 л. с., а на 4600 м - 1340 л. с. Эти двигатели с винтами Сумитомо-Гамильтон большего диаметра (3.4 м вместо 3.2 м) были установлены на первом серийном Ки-21-Ic, который послужил прототипом для нового Ки-21-II.
Увеличение диаметра мотогондол вследствие большего поперечного сечения новых двигателей послужило удобным случаем полностью убрать колеса шасси в гондолы. Вновь была увеличена площадь стабилизатора. Для сохранения центровки главному лонжерону придали стреловидность в 2,5°, а стреловидность по передней кромке составила 10°. Были введены еще небольшие подкрепления, но в целом конструкция бомбардировщика изменилась незначительно. Летные испытания начались в марте 1940 г и были ободряющими - скорость возросла до 478 км/ч на высоте 4400 м (увеличение на 46 км/ч), высота в 6000 м набиралась за 13,2 мин, а потолок поднялся до 10000 м. Мицубиси тут же получила требование от воздушной) штаба запустить Ки-21-На ("тяжелый бомбардировщик армейский тип 97 модель 2А") в серию на заводе в Нагое. Первые четыре самолета были представлены для войсковых испытаний в декабре 1940 г.
Поставки Ки-21-II в армию набирали "обороты" в течение первых месяцев 1941 г, и большинство соединений успели перевооружиться на новую модель еще до начала войны на Тихом океане. Уже готовясь к войне, по плану боевых действий 3-я хикосидан была нацелена на поддержку сил вторжения в Малайе и Бирме. В ее составе были сентаи NN 12, 60, 92. Но полностью передислоцироваться из Китая в Индокитай дивизия не успела. Боевые действия велись в очень тяжелых условиях - не хватало запчастей из-за удаленности от Японии и трудностей с их доставкой. К тому же основная база дивизии - аэродром в Пномпене - была выведена из строя из-за проливных дождей. Однако одно из подразделений, расположенное в Сайгоне, сумело успешно поддержать высадку войск в Кота-Бхару.
В течение следующих двух месяцев Ки-21 3-й дивизии во всю поддерживали наступление армии, пользуясь отсутствием противодействия в воздухе. А вот 14-у сентаю 4-й хикосидан, который вел боевые действия на Филиппинах, а потом в Бирме, повезло меньше. В Бирме 14-й сентай вместе с 62-м сентаем основной целью имел авиабазу Таунгоо в Рангуне, где японцы встретили сильное противодействие в лице "Томахоков" американских добровольцев и "Буффало" из 67-й эскадрильи британских ВВС. В этих боях 14-й сентай потерял почти все свои самолеты. К счастью для японцев на этой стадии войны встречи с современными истребителями противника были редкостью.
Такой боевой опыт обратил на себя внимание штаба армейских ВВС. Были учтены требования экипажей к улучшению оборонительного вооружения. Главным недостатком самолета были малые углы обстрела из верхнего 7,7-мм пулемета. Начиная с Ки-21-IIa N 1026-590, Мицубиси отказалась от верхнего фонаря стрелка, установив большую, сферическую башню с одним 12,7-мм пулеметом "тип 1". Башня поворачивалась с помощью привода от велосипедных педалей. Новый пулемет имел более высокую начальную скорость пули и большие углы обстрела, но эта мера незначительно улучшила оборонительный потенциал бомбардировщика. Новый вариант бомбардировщика получил обозначение Ки-21-IIb. Начиная с 275-й машины, стали устанавливаться 16-мм и 12,5-мм бронеплиты сзади и спереди пилота. Еще несколько 16-мм бронеплиток использовалось для защиты верхнего стрелка.
Когда войска союзников приняли условные обозначения японских самолетов, Ки-21, как наиболее известный самолет японских армейских ВВС, получил обозначение "Джейн" по имени жены генерала Макартура. Генерал счел эту честь сомнительной, и вскоре обозначение поменяли на "Салли". Когда американцы впервые увидели Ки-21-ИЬ без столь знакомой "беседки", то сначала предположили, что это новый тип самолета, которому дали обозначение "Гвин". Позднее, когда все прояснилось, название "Салли" вернули.