Первым начальником училища был назначен участник 1-ой Мировой войны и боёв с белогвардейцами, заместитель командующего ВВС Харьковского военного округа полковник Рябцев Виктор Иванович (1941–1942 гг.), в последующем генерал-майор.
В дальнейшем начальниками училища были:
генерал-лейтенант Хадеев Степан Петрович, 1942–1962 гг.;
генерал-лейтенант Тихонов Василий Гаврилович, 1962–1970 гг.;
генерал-лейтенант Штанько Степан Федотович, 1970–1981 гг.;
генерал-лейтенант Урлин Игорь Борисович, 1981–1990 гг.;
генерал-лейтенант Толубко Владимир Борисович, 1990–1999 гг.
К 1 июня 1941 года был осуществлён первый набор курсантов и начаты учебные занятия. Через несколько дней после начала войны, 27 июня 1941 года, училище получило директиву о переходе на сокращение штатов и четырёхмесячный курс обучения по программе школы механиков.
С 20 по 29 сентября 1941 года училище было эвакуировано в г. Душанбе Таджикской ССР, где с 25 октября 1941 года были продолжены регулярные занятия, а уже в мае 1942 года был проведен первый выпуск авиатехников и авиамехаников по эксплуатации самолётов и двигателей в количестве 1100 человек.
В конце 1942 года начальником училища был назначен полковник С.П. Хадеев, в дальнейшем генерал-лейтенант, который имел большой опыт руководства военно-учебными заведениями (Военно-инженерная академия имени М.Е. Жуковского и Вольское авиационно-техническое училище).
18 мая 1944 года, согласно Указу Президиума Верховного Совета СССР, училищу было вручено Боевое Красное Знамя и грамоты к нему.
В мае-июле 1944 года училище возвратилось в г. Харьков и было размещено на территории бывшего (до июля 1941 года) городка авиабригады Харьковского военного округа по ул. Сумской, № 77/79 и в общежитии Военно-хозяйственной академии.
22 июля 1948 года ХВАТУ было преобразовано в Харьковское высшее авиационно-инженерное военное училище (ХВАИВУ), которое было отнесено к ВВУЗу 3-ей категории.
С 1960 года начинается новый этап в истории училища, который тесно связан с научно-технической революцией в военном вооружении и военной технике.
После создания Ракетных войск стратегического назначения некоторые авиационные училища в полном составе переводились в РВСН, так произошло и с Харьковским и Серпуховским училищами, оба вошли в состав РВСН. Постепенно в Харьковском высшем командно-инженерном училище была создана отличная материально-техническая база для подготовки офицеров-ракетчиков. Училище заслуженно пользовалось высоким авторитетом в войсках, выпускники училища ценились во всех объединениях, соединениях, частях и подразделениях РВСН. Большую роль в становлении училища, как одного из ведущих ВУЗов РВСН, сыграл Главнокомандующий РВСН дважды Герой Советского Союза Маршал Советского Союза Н. И. Крылов, после смерти которого училищу было присвоено его имя.
Слушатели и курсанты обучались на шести факультетах училища по всем основным специальностям, востребованным в РВСН: инженеры-механики, специалисты по электронике, системам дистанционного управления и контроля (СДУК), радиотехническому управлению, энергетике, автоматизированным системам управления и связи, электронно-вычислительной технике. Училище отличалось сильным профессорско-преподавательским составом, представленным большим количеством докторов и кандидатов наук. Кафедры и лаборатории ХВВКУ были оснащены самыми современными на то время приборами, оборудованием, стендами и тренажёрами. Училище располагало обширной научно-технической библиотекой. Многие учебники и учебные пособия были уникальными, они разрабатывались профессорско-преподавательским составом кафедр училища и пользовались большим спросом в других родственных ВУЗах РВСН.
Общеобразовательные кафедры давали слушателям полноценную вузовскую подготовку. Разработанные на специализированных кафедрах училища учебные программы не уступали соответствующим программам родственных военно-инженерных академий. В училище были созданы и много лет успешно функционировали специализированные диссертационные советы по подготовке кандидатов и докторов наук, существовали собственные школы научных кадров.
Большое количество выпускников училища впоследствии стали преподавателями военных вузов, известными учёными, а также старшими офицерами, начальниками отделов, служб и управлений в соединениях, объединениях и Главкомате РВСН. Среди выпускников Харьковского училища — значительное количество командиров объединений, соединений и частей РВСН.