С двумя детьми его жена направилась на паруснике к новому месту службы мужа. Бытовые условия и климат в Аяне были несколько лучше, но только по сравнению с Охотском. Залив замерзал в середине ноября, а вскрывался ото льда в самом конце мая. Лето короткое, сырое, с холодными туманами. Начинали с голого места. Самим вместе с матросами и служащими фактории приходилось заниматься строительством домов. Своими руками было сделано всё, включая рамы, двери, мебель в доме. Сами рыли глину и выжигали кирпичи. На судах Российско-американской компании доставили только изделия из железа и стёкла. В окрестностях Аяна без ружья гулять не рекомендовалось: медведи иногда забредали в посёлок. Но ещё опаснее были двуногие. Население состояло в основном из ссыльных или каторжных.
Семья Завойко за годы пребывания в Аяне увеличилась ещё на трёх человек: родились дочери, которых назвали Прасковья, Мария, Екатерина. Помимо своих детей супруги воспитывали оставшегося сиротой сына врача Криницкого. Врач пропал без вести, а его жену убили ссыльные. Потом, когда мальчик подрос, Завойко через знакомых в Петербурге и Кронштадте устроил его в Штурманское училище.
Василий Степанович делился с женой всеми замыслами. Его давно привлекали Амур и земли, расположенные южнее. Завойко мечтал о незамерзающей гавани к югу от Амура, но он знал о строжайшем запрещении проникновения в эти территории из-за опасения правительства столкновения с Китаем, поэтому свои замыслы никому не раскрывал, кроме Юлии.
Он нашёл надёжного человека, бывшего штурманского офицера Дмитрия Ивановича Орлова, и отправил его в тайную экспедицию на Амур. Орлов проник не только на Амур, но и дошёл до границы с Кореей. Он вернулся со сведениями чрезвычайной важности, которые Завойко, рискуя понести жестокое наказание за самовольство, отправил в правление Российско-американской компании. Однако он не получил никакого ответа из Петербурга. В частном письме дядя его жены попросил Завойко прекратить любую переписку, связанную с Амуром, не объясняя при этом причин. Василий Степанович вопросов задавать не стал и просьбу адмирала выполнил. К сожалению, посланные им материалы в архивах пока не обнаружены. Возможно, они были уничтожены правлением компании, чтобы о них не стало известно Министерству иностранных дел, наложивших табу на всё, связанное с Амуром.
В 1849 году в Аяне побывал новый генерал-губернатор Восточной Сибири Николай Николаевич Муравьёв. Ознакомившись с результатами трудов капитана второго ранга, генерал понял, что имеет дело с незаурядным организатором, талант которого не используется в должной мере. Он предложил ему адмиральскую должность военного губернатора Камчатки и командира Петропавловского порта.
Завойко согласился не сразу, сказал, что должен обсудить это с женой, поскольку это касалось и её судьбы. Семья была крепким тылом Василия Степановича, жена всегда давала ему дельные советы. Десять лет безвыездно прожили они на побережье Охотского моря, несмотря на то, что срок обязательной службы в этих краях составлял пять лет. На семейном совете после долгих колебаний всё же решили принять предложение Муравьёва.
Вновь собрали пожитки, и на парусном компанейском судёнышке Юлия Егоровна с пятью маленькими детьми, беременная, отправилась по бурному Охотскому морю в плавание, длившееся несколько недель. Как измучились и она, и дети, рассказать невозможно, это можно понять, только испытав самому.
Когда семья губернатора высадилась в Петропавловске, то Юлия Егоровна, казалось бы, разучившаяся чему-либо удивляться, была потрясена увиденным.
В городе свирепствовала цинга, люди умирали от голода, некоторые дома стояли без крыш, многие матросские семьи вообще ютились на улице, везде царили упадок и запустение. Всё портовое хозяйство состояло из старой восьмивесельной лодки. По улицам бродили толпы пьяных иностранных матросов с китобойных судов, некоторые даже с гарпунами. Иностранцы бесчинствовали, нападали на женщин, вырубали ближайшие леса, запасаясь дровами.
Завойко немедленно принялся наводить порядок. Он начал с наведения порядка в городе, приказал очистить склад, имущество сложить в штабель, одежду раздать людям. Часть бездомных распорядился поселить на складе, а остальных распределить по домам, где сохранились крыши, на чердаках. Несколько матросских семей Юлия Егоровна поселила у себя, в губернаторском доме. Они жили в губернаторской резиденции, пока для них не выстроили жильё.
Новый губернатор свою деятельность начал с самого важного — обеспечения людей жильём и продовольствием. Население Петропавловска и его крошечный гарнизон с первых дней поняли, что пришёл настоящий хозяин, а не временщик, и это вселило в людей надежду на изменения к лучшему.