Простившись с мужем, подавленная, не зная, увидит ли она его вновь, не зная, что случится с ними дальше, Юлия Егоровна с малолетними детьми пошла пешком к хутору, находившемуся в двенадцати верстах от города. Лошади нужны были защитникам города для конного отряда. По пути к ней присоединились другие женщины с детьми. Дорога, извивавшаяся в горах, после продолжительных дождей превратилась в месиво грязи. Женщины несли грудных детей на руках, дети постарше шли с узелками, в которых находились еда и одежда.
Десант союзников в Петропавловске потерпел поражение. Давид победил Голиафа: малочисленный плохо вооружённый русский гарнизон совершил невозможное — отразил нападение многократно превосходившего противника.
29 августа семьи вернулись в город. У Юлии Егоровны хранились деньги от лотерей, в которых разыгрывались вещи, изготовленные местными умелицами. Она собиралась употребить их для основания женской школы. Но теперь им нашлось другое применение — помощь сиротам и вдовам погибших защитников.
Зимняя почта доставила награды героям и предписание оставить город, а всех его обитателей переправить на Амур.
Что нельзя было взять с собой, требовалось спрятать в укрытиях, укрепления уничтожить, пушки вывезти, а при невозможности — привести их в негодное состояние.
Люди бросали всё, что было нажито и накоплено с огромным трудом за долгие годы: имущество, дома, скот… В начале апреля, прорубив лёд, русские военные суда вышли из Авачинской бухты.
Юлия Егоровна ожидала рождения десятого ребёнка, и муж вынужден был оставить её с девятью другими детьми на хуторе, где она скрывалась во время прихода вражеской эскадры. Она родила девочку спустя две недели, после того как гарнизон покинул город. Дочь назвала Анной. Предполагалось, что семью губернатора позже заберёт русское китоловное судно. Май, июнь, июль и август в полной неизвестности провела она с детьми вместо планировавшихся нескольких недель. Они оказались без муки, сахара и других припасов, выручали только рыба и молоко от своей коровы. Дети постоянно болели.
2 мая Юлия Егоровна с детьми перешла на судно Российско-американской компании «Атха», чтобы следовать в Аян. Но с наблюдательного поста сообщили о судах неприятеля. Её с детьми снова свезли на берег и отправили на хутор. Судно спрятали в одной из бухт Авачинской губы. Единственным пропитанием для семьи Завойко была рыба. В довершение всех неприятностей пробудился Авачинский вулкан. Извержение длилось около двух месяцев. Вся округа была засыпана вулканическим пеплом.
19 мая в Авачинской бухте вновь появилась мощная эскадра союзников, но она застала лишь брошенный людьми город, и поэтому вскоре отправилась на поиски беглецов к Амуру. Перед уходом неприятель сжёг многие дома в Петропавловске. Английский адмирал, зная, что семья Завойко скрывается в окрестностях Петропавловска, сделал великодушный жест, передав через парламентёра поручика Губарева для семьи губернатора ящик с черносливом, печенье и ящик вина.
В конце лета Юлию Егоровну с детьми забрал компанейский бриг «Беринг». Его капитан сумел незаметно для неприятельских паровых судов провести свой парусник в Де-Кастри.
Завойко был назначен «начальником морских и сухопутных сил, на Амуре расположенных». Встретить семью ему не удалось. Всех, с кем он прибыл на Амур, привезли и высадили в открытом поле. Требовалось создать всё с нуля. У него не было ни минуты личного времени. Адмирал был занят строительством укреплений, жилья, складов и прочими обязанностями по обеспечению жизни тысяч людей, за которых он отвечал. Да и не мог он знать точного времени прибытия судна.
Юлии Егоровне и другим жёнам офицеров сначала пришлось с детьми идти пешком по бездорожью 25 вёрст до озера Кизи, там все набились в маленькую избушку и переночевали. Невельской свой пеший поход в Де-Кастри описывал в воспоминаниях, как подвиг. А что же говорить о женщинах с маленькими детьми? Утром их рассадили по лодкам, и началось путешествие по озеру. Из-за мелководья солдаты, бредя по пояс в воде, тащили лодки бечевой. Добрались до Мариинского поста, пробыли там двое суток, пока наконец их всех не погрузили на баржу и не доставили в Николаевск. Спустя двадцать лет Юлия Егоровна вспоминала: «Наконец, после долгой мучительной неизвестности мы с мужем были вместе. Минуты свидания не решаюсь описывать. Чувство живо…»
Разместились они в маленьком домике, служившим и квартирой, и адмиральским штабом. Дети спали в матросских койках, расположенных в два яруса.
Жену адмирала не беспокоил неустроенный быт, она не жалела потерянных вещей. Юлию Егоровну тревожило только отсутствие учебников, по которым она занималась с детьми. Ей помогли офицеры, собрали необходимые книги и даже стали заниматься со старшими мальчиками по программе Морского корпуса, что было весьма кстати — дети хотели стать моряками.