Помимо великого князя Кирилла Владимировича, в эмиграции находился и великий князь Николай Николаевич — последний главнокомандующий Русской армии в годы Первой мировой войны. Он не претендовал на занятие императорского престола в изгнании, но являлся главой РОВСа и также имел много сторонников в военной среде. Именно потому, что среди высших чинов флота не существовало единого взгляда по отношению к КИАФ и к РОВС, в первые годы эмиграции не удалось создать общее морское объединение. Кроме того, если у Русской армии, ставшей основой РОВСа, был фактический и духовный глава, которому все подчинялись безоговорочно, — генерал Врангель, у флота устраивающий всех лидер отсутствовал, поскольку на разных фронтах Белой борьбы морские части возглавлялись разными людьми, у каждого из которых имелись свои приверженцы в эмиграции. Кроме того, иногда на отношениях между старшими флотскими офицерами сказывались определенные старые «обиды» и счеты, многие из которых относились еще к периоду Первой мировой и Гражданской войн.
К тому же в скорое возрождение флота после его разгрома в период Гражданской войны многим верилось с трудом. Вот что писал, например, русский морской агент в Японии и Китае контр-адмирал Б.П. Дудоров своему коллеге во Франции капитану 1-го ранга В.И. Дмитриеву в апреле 1922 г.: «
Идея создания всезарубежного объединения принадлежала группе старших чинов Российского Императорского флота во главе с адмиралом А.И. Русиным. Русин до 1917 г. занимал ряд ответственных постов: был директором Морского корпуса, исполнял должность начальника Николаевской морской академии, возглавлял Главный морской штаб и Морской Генеральный штаб, морской походный штаб Ставки верховного главнокомандующего. Он пользовался большим авторитетом в среде старых офицеров флота.
Идея создания ВОМО активно обсуждалась на страницах зарубежных морских журналов — проект устава опубликовали в 1928 г. «Морской журнал» и «Зарубежный морской сборник». 7 августа 1929 г. на заседании Комитета старшин кают-компании в Париже был принят устав ВОМО и положение о суде чести.
Девизом объединения стали слова «Великая Россия — Андреевский флаг». Основными целями ВОМО, учреждаемого «на началах традиции Русского флота и офицерской чести», провозглашались: сплочение русских морских офицеров, находящихся в зарубежье, в прежнюю морскую семью, а также «сохранение в среде его [объединения. — Н.К] членов воинского духа, любви и преданности историческим заветам Российского флота и усовершенствования военно-морских знаний для поддержания их на уровне современных требований».