В 1876 году Ивановский был арестован по одному из типичных для того времени обвинений «в пропаганде» среди рабочих и крестьян. Еще и в наши дни «пропаганда» общесоциалистических идей, составляющая признанное право во всей Европе, у нас должна хорониться в подполье и считается тяжким преступлением. Известно, какими излишествами арестов, ссылок и каторги ответило правительство того времени на идеалистические и во многом наивные порывания молодежи. Ивановскому грозила, вероятно, каторга или дальняя ссылка, но в январе 1877 года он бежал из полицейской камеры Басманной части. В свое время этот побег среди белого дня, совершенный с необычайною смелостью и находчивостью, заставил много говорить о себе.
После побега Ивановский скрылся за границу. Сначала он попал в Берлин, где работал простым рабочим на огородах, потом в Париж. Но это был человек до такой степени русский по характеру и всему душевному складу, что среди европейской жизни он чувствовал себя совершенно чужим. Меняя места, скитаясь из города в город, он, наконец, попал в Румынию. И здесь его потянуло на Дунай, в Добруджу, на одну треть населенную русскими, где целые большие села заняты или «липованами», потомками некрасовцев, или украинцами, потомками запорожцев. Здесь скиталец и осел прочно, до конца жизни.
Сначала он пытался осуществить чисто народническую программу «слияния», и во время русско-турецкой войны бывший врач является атаманом рыбацкой артели в заливе Рязин, на побережье Черного моря. Артель состояла из всякого международного сброда, имевшего, как и сам Ивановский (только по другим причинам), веские основания удалиться к пустынному лиману, в стороне от путей передвижения русских войск. Нужно было очень много нравственной (а иной раз и просто физической) силы, чтобы держать в повиновении эту недисциплинированную вольницу, но «атаман» справлялся с этой задачей. Какая-то непосредственная стихийная сила роднила его с этими людьми, а богатырское сложение и атлетическая мускулатура порой разрешали неожиданные вспышки среди пьяной и буйной вольницы. В этих условиях народнику-идеалисту пришлось выдержать испытание своего мировоззрения. И он его выдержал: до конца он остался «народником» во взглядах и, что еще труднее, — в жизни.
Но атаман рыбалок все-таки был и врачом. Сначала он тщательно скрывал свое «звание». Но когда ему случалось встречаться с внезапными и опасными заболеваниями, — долг врача брал свое, и вскоре по побережью, а затем по Добрудже пошел говор о странном «рыбалке», производящем чудесные излечения. Это было до такой степени во вкусе простого народа, наука являлась здесь в ореоле такой заманчивой таинственности и легенды, что скоро стан рыбалок над Рязиным лиманом стал привлекать все более и более пациентов. Ивановский увидел, что от судьбы не уйдешь, и переселится в Тульчу, где открыто занялся врачебной практикой.
Это вызвало неудовольствие некоторых местных врачей, которые выступили против новоявленного конкурента с обвинением в самозванстве. Положение обвиняемого было очень странно: он был легализирован, как добруджанский житель Петр Александров, и это звание принадлежало ему (на основании одной из статей Берлинского трактата) самым неотъемлемым и легальным образом. Но права «русского врача» приурочены были к Ивановскому, получившему диплом от медико-хирургической академии, а не Петру Александрову, снискавшему популярность в Добрудже. Запутанное положение разрешилось процессом в Бухаресте. Русскому доктору предложено было выдержать испытание в клиниках университета, и факультет выдал самую лестную характеристику его теоретических и практических познаний. Присяжные вынесли оправдательный вердикт, вызвавший громкие манифестации экспансивной румынской публики по адресу суда, защиты и самого «русского доктора».