Через месяц отряд иоаннитов находился уже на пути к острову Родос. Он состоял из двух галер и четырех судов меньшего класса, на которых находились 35 рыцарей и 500 пехотинцев. Остальные силы, обещанные вездесущими пиратами, присоединились позже. Почти 4 года продолжалась война между Византией и рыцарями за Родос, который древние греки называли «островом роз», и за соседние с ним острова. Затея оказалась не из легких, и поначалу «воинство Божье» терпело значительные неудачи. Но в конце концов на их стороне оказался слепой случай. Корабль, посланный на подмогу Родосу из Византии, потерпел крушение неподалеку от Кипра и был передан вместе с попавшим в плен экипажем в распоряжение Ордена. Капитан корабля был родом с Родоса и, спасая свою жизнь, стал уговаривать его жителей сдаться. Произошло это летом 1308 года, но еще почти два года островитяне оказывали пришельцам ожесточенное сопротивление. Однако силы были неравными, и родосцам пришлось сложить оружие.
Рыцари увидели на острове плодородные, прекрасно возделанные долины, которые лежали по обе стороны горного хребта, проходившего посередине Родоса. В центре его возвышалась гора Анаваро, с вершины которой можно было наблюдать за тем, что происходило вокруг острова, а также за побережьем Малой Азии. Родос располагал двумя прекрасными гаванями – на севере и на юге; за ними на горных склонах величественно раскинулся город Родос, о котором древнегреческий географ и путешественник Страбон говорил: «Я не знаю ничего равного или, тем более, превосходящего его».
Рыцари-госпитальеры основали на Родосе свою державу и захватили соседние острова – Тилос, Нисирос, Кос, Калимнос и Лерос, а на малоазийском побережье – город Галикарнас. Захват острова вселил в рыцарей надежду: в относительной безопасности независимый Орден мог теперь продолжить свою деятельность и заняться необходимой реконструкцией. На Родосе иоанниты вспомнили и о своей первоначальной миссии – уходе и заботе за больными и ранеными. Они начали строить странноприимный дом-госпиталь, открыли школы, возвели великолепный дворец, склады и т. д.
Иоанниты, которых с этих пор стали называть родосскими рыцарями, возвели на Родосе и прилегающих к нему островах крепостные укрепления, в результате чего была создана первая линия обороны. В период своего наибольшего расцвета родосское государство насчитывало свыше 250 000 жителей, из них примерно 200 000 человек проживали на самом острове, самих же рыцарей на Родосе было всего около 500 человек.
Государство родосских рыцарей постоянно находилось в состоянии войны с Турцией и всем мусульманским миром. Прекрасно оснащенный флот иоаннитов перенял лучшие морские достижения того времени, в частности рыцари построили большие галеры с обшивной броней. Их флот контролировал Эгейское море, и с этих пор ни военные корабли, ни торговые суда турок не могли чувствовать себя в нем спокойно.
Через два года после того, как иоанниты обосновались на Родосе, турки предприняли попытку захватить остров Амаргос, который лежал в 100 милях к северу, но в морском сражении они потеряли весь свой флот. Через 8 лет турки выступили против Родоса, но и на этот раз рыцари-госпитальеры выиграли морское сражение у острова Хиос. В 1320 году турецкий десант на 80 кораблях снова попытался высадиться на острове, но на подходе к нему 30 рыцарских кораблей разгромили и рассеяли турок.
Военные действия против турок велись почти непрерывно и рождали своих героев. Одним из них был Дьедонне де Гозон, которого в 1346 году выбрали Великим магистром Ордена. С его именем связана одна из легенд, которыми так богата история родосских рыцарей. Согласно ей,
у подножия горы Святого Стефана как-то завелся дракон. Один за другим выходили рыцари на схватку с чудовищем, но всех их ждала смерть. Тогда рыцарь Дьедонне, известный своей отвагой, решил применить военную хитрость и вышел на бой с драконом в сопровождении своих гончих псов. Собаки яростно напали на чудовище, а Дьедонне воспользовался тем, что внимание дракона было отвлечено, и отсек ему голову.