Константин тоже произвел много изменений, имея в виду восстановить непобедимую римскую армию прошлого. Это восстановление, выглядевшее весьма внушительно на словах, в действительности оказалось пустым звуком. Скрываясь за красивым фасадом, внутренние конфликты, анархия, бездеятельность, привычка к роскоши коварно подрывали могущество страны, разрушали моральный дух армии. Легион медленно, но верно умирал, его место постепенно занимала кавалерия, пока первый не прекратил свое существование как военное формирование. Упадок и разрушение некогда могущественной Римской империи может служить напоминанием о том, что в этом мире все преходяще. В 400 году дни тяжелой пехоты на юге Европы уже были сочтены. Она перестала существовать как определяющий фактор в сражении. В 410 году произошла роковая битва, решившая судьбу старой Римской империи; 24 августа Аларих и союзные с ним племена варваров пошли на Рим, разграбили город и стерли с лица земли все следы непобедимой римской армии.
Византийцы по своей природе не были воинственными людьми. Видное место в Византии занимали купцы, инженеры и художники, которые войне предпочитали мир. Погоня за воинской славой была чужда им. Правда, византийцы понимали, что в мире, в котором они живут, солдат является необходимым членом общества, и в качестве такового он занимал в нем определенное место, но никогда не пользовался славой и почетом, как его западные коллеги. Целью дипломатии было избежать кровопролития любой ценой, и профессия дипломата считалась ничуть не менее важной, чем воинская. Однако власти Византии, конечно, понимали, что незащищенное положение государства в неспокойном уголке Востока требует содержания сильной армии и флота, способных обеспечить безопасность граждан. Поэтому византийская армия, если и не была равной по мощи римской, все же являлась достаточно эффективной и боеспособной. Служба в вооруженных силах изначально была обязательной, и ветераны награждались земельными участками в Малой Азии.
Может показаться странным, но военное искусство всегда являлось в Византии предметом тщательного изучения; в разное время она дала миру видных исследователей в этой области. И это в то время, когда европейцы почти поголовно считали, что военный успех определяется умением грубо и жестко драться. Молодой представитель франкской знати считал свое военное обучение завершенным, если он умел сидеть в седле и более или менее правильно обращаться с оружием. Его византийский собрат в дополнение к этому изучал теорию. Поэтому он становился более чем достойным противником. Византийцы с незапамятных времен увлекались инженерным делом. Полученные таким образом знания использовались в военном искусстве. Тем самым Византия обеспечила для себя техническую инициативу, которая верой и правдой служила ей много лет.
Старая легионная система исчезла около 380 года. Ее сменила федерати – легкая кавалерия, созданная Феодосием I (379–395). Она состояла из полков варваров или даже целых племен, которые служили у римлян под командованием своих предводителей. Эта новация поначалу не была успешной, потому что варвары признавали только свои законы. Император Лев I (457–474) умел их сдерживать, и к началу следующего века федерати оказались под контролем. При Феодосии I армия была разделена на две части: одна – фемы, состоявшие из местных жителей, набранных на основе частичной занятости, они размещались в своем регионе; другая – мобильная экспедиционная сила наемников, способная очень быстро занять позиции. Лучшие воины были выходцами из Иллирии, Исаврии и Фракии; наемниками были гунны, герулы и позднее лангобарды. Последние служили конными разведчиками, но были менее надежными, чем регулярная кавалерия, состоявшая из федерати и кавалларии (тяжелые кавалеристы). Первые имели очень легкую защитную экипировку и были вооружены в основном луками. Последние носили шапки, увенчанные небольшим хохолком (кисточкой), длинную кольчугу, латные рукавицы и сапоги. Все они ездили верхом в седле с большими металлическими стременами. Тяжелый кавалерист имел легкое полотняное сюрко, которое можно было набросить поверх доспехов в жаркую погоду, и большое шерстяное пальто для холодных и дождливых дней. Каждый отряд-банда, состоявший из трех-четырех сотен человек, имел свой цвет для кисточек, подвесок на копье и сюрко. Таким образом, в армии, можно сказать, существовала форма. Лук кавалериста доказал свою смертоносность в бою. Его появление придавало гибкость и подвижность доселе неповоротливым формированиям и играло решающую роль в достижении успеха. Снова и снова град стрел обращал противника в бегство раньше, чем он успевал укрепить свои позиции. В дополнение к регулярной армии некоторые военачальники содержали собственные полки, которые были вооружены луками и мечами, хорошо обучены и преданы своим хозяевам. Говорят, что в личной армии Велисария насчитывалось 7 тысяч человек.