Высланный одновременно с Кутеповым правительством Стамболийского из Болгарии, с 1923 по 1924 год Абрамов был начальником штаба Врангеля в Сремских Карловцах. По возвращении в Софию он возглавил III Отдел РОВСа.
Похищение Е. К. Миллера застало Абрамова в Белграде, куда он выехал по делам. По каким-то, лично ему известным мотивам, Абрамов не хотел быть главой РОВСа. Зная о результатах секретного опроса в 1936 году генералом Миллером старших генералов РОВСа о возможном ему преемнике, Абрамов сразу же предложил этот пост генералу А. М. Драгомирову, проживавшему в Белграде. Но Драгомиров отклонил предложение. Тогда Абрамов издал свой приказ № 1 о переносе центра РОВСа в Софию. Это решение противоречило соглашению между СССР и Болгарией о недопущении на ее территории возглавления враждебных СССР эмигрантских организаций. Никакие заверения Абрамова в том, что принятое им возглавление РОВСа в Софии будет чисто номинальным, не изменили решения болгарского правительства. Оно предложило Абрамову выехать из Болгарии.
15 ноября 1937 года Абрамов обратился с письмом к проживавшему в Париже заслуженному профессору Николаевской академии Генерального штаба, генерал-лейтенанту А. А. Гулевичу:
Ввиду тягостного положения РОВСа, почтенный и всеми уважаемый генерал не счел для себя возможным отказаться от предложения. 22 ноября генерал Гулевич послал Абрамову телеграмму о своем согласии и просил его немедленно известить телеграммой о назначении на должность председателя РОВСа. Одновременно он ясно дал понять Абрамову, что, по вступлении в должность, первым своим делом считает немедленное и действительное уничтожение «Внутренней линии».
Вопреки своему заверению, быть ревностным помощником Гулевичу во всех его начинаниях Абрамов отнюдь не собирался. Телеграмму Гулевича он обошел молчанием и сразу же приступил к поискам более удобного для «Линии» главы РОВСа. Вновь он обратился к генералу Драгомирову. На сей раз Драгомиров согласился, но сообщил, что для переноса центра РОВСа в Белград необходимо разрешение югославского правительства. В течение трех месяцев правительство Югославии изучало этот вопрос 18 марта оно известило Драгомирова о своем отказе. Похищение генералов Кутепова и Миллера, дело Линицкого-Коморовского, наличие в РОВСе «Внутренней линии» продиктовали югославским властям мудрое решение.
Узнав о закулисных ходах Абрамова, Гулевич написал ему 28 декабря письмо, частично опубликованное в газете «Возрождение» от 31 декабря 1937 года. Молчание Абрамова Гулевич оценил по достоинству:
«Не входя в рассмотрение причин, вызывающих столь вредное для дела промедление, я признаю своевременным заявить, что считаю себя освобожденным от принятых 15 ноября обязательств по отношению ко мне, как вас лично, так и начальников отделов РОВС…»