В начале июля было избрано Правление организации в составе полковника Дюсиметьера (председатель), капитанов Прокофьева (казначей) и Постембского, поручика Черкеза (секретарь) и прапорщика Смирнова, и союз, насчитывавший в это время 70 человек, начал свою работу. Первым мероприятием союза стало открытие общежития в местечке Хэнбаньцяо недалеко от русской Богоявленской церкви (район Чжабэй). При общежитии действовала общественная кухня. Настоятель Богоявленской церкви иеромонах Смарагд (Ф. Власов) принимал активнейшее участие в организации общежития, кроме того, Смарагд предоставлял комнаты для временного проживания семейным офицерам в доме при церкви [Ван, 2008, с. 332, 392; MRC, box 2, f. Материалы СCРАФ]. Через общежитие союза прошла значительная часть военнослужащих, оказавшихся в Шанхае в 1920–1921 гг.
Первоначально финансовая поддержка, которую получал Союз военнослужащих, не являлась постоянной и происходила из разных источников. Из воспоминаний Черкеза известно, что помимо денег, выданных полковником Кременецким, союз получил 1 тыс. долл. от русского военного атташе в Пекине полковника А.А. Татаринова194, столько же от жены атамана Семенова цыганки Маши, 500 долл. от Российского военного агента в Японии генерала М.П. Подтягина, 50 долл. от бывшего российского Генерального консула в Шанхае В.Ф. Гроссе [MRC, box 2, f. Материалы СCРАФ]. Некоторую помощь союзу оказывало Русское Благотворительное общество. Между тем, учет денег руководством союза шел из рук вон плохо, суммы выдавались по требованию нуждающихся без достаточных оснований. Попытка членов организации открыть свой магазин и мастерские, под что был взят кредит у Русско-Азиатского банка, так и не осуществилась. Прибывший в 1921 г. в Шанхай Генерального штаба генерал-лейтенант А.Я. Ельшин настоял на учреждении «Русского Экономического общества», в котором союз стал одним из пайщиков [Ibid]. Экономическое общество вскоре развалилось, а Ельшин в 1923 г. благополучно перебрался в Соединенные Штаты.
Возможно, свою роль в экономической несостоятельности Союза военных играло и то, что руководство организации не признавало вероятности долговременного установления большевистского режима в России, выступало за продолжение борьбы против советской власти, в которой военные беженцы еще найдут свое место. Союз был одним из главных антисоветских центров в Шанхае, возбуждая опасения и недовольство со стороны экономических кругов российской (преимущественно, еврейской) колонии и части представителей бывшего дипломатического корпуса. К концу 1921 г. Союз военнослужащих оказался в состоянии глубокого кризиса. Новая инициативная группа, состоявшая в основном из старших офицеров и назвавшая себя Комитетом союза, предложила реорганизовать объединение на основе новых принципов. В январе 1922 г. разработанный Комитетом союза новый устав организации был принят общим собранием членов объединения. Изменилось и название союза, который стал теперь именоваться Союз служивших в Российских Армии и Флоте (ССРАФ) [ГАРФ, ф. Р-5793, оп. 1, д. 96, л. 42].
Согласно нового Устава, союз являлся организацией взаимопомощи, не преследуя никаких политических целей, и только не допускал в свои ряды большевиков и сочувствующих им. К основным задачам ССРАФ относились: 1) объединение всех беженцев, служивших в военном и морском ведомствах195, для оказания взаимной поддержки; 2) изыскание способов существования для членов Союза; 3) предоставление возможности членам Союза обмениваться знаниями военного характера; 4) способствование закреплению в сознании членов Союза необходимости строго охранять вековые традиции Российских Армии и Флота [MRC, box 2, f. Материалы СCРАФ]. Руководство Союзом сосредотачивалось в руках председателя, правления и ревизионной комиссии. Первым председателем ССРАФ был избран Генерального штаба генерал-лейтенант К.Ф. Вальтер196, вице-председателем – контр-адмирал Ковалевский, председателем Правления – Генерального штаба генерал-майор П.Ф. Рябиков, правителем дел Правления и секретарем – Генерального штаба генерал-майор Г.Т. Киященко [ГАРФ, ф. Р-9145, оп. 1, д. 240, л. 7].
Численность союза в январе 1922 г. составляла всего 35 человек, но очень быстро выросла, достигнув в январе 1923 г. уже 152 человек. В начале 1924 г. членами союза являлись 185 человек, в середине 1925 г. – 209, из них 181 – офицеры [Там же, л. 10, 13, 44]. В июле 1928 г. союз численно вырос до 405 человек, включая 14 генералов, 74 штаб-офицера и 215 обер-офицеров [Шаронова, 2015, с. 178; MRC, box 2, f. Материалы СCРАФ]. И хотя генерал Рябиков, один из организаторов ССРАФ, отмечал в своих воспоминаниях, что «возможность вступления в союз и нижних чинов лишало союз “кастово-офицерского” лица и не отбрасывало от себя и честных, но простых рядовых воинов» [ГАРФ, ф. Р-5793, оп. 1, д. 1д, л. 333], ССРАФ имел преимущественно офицерский состав.