Юлия Врангель была наделена дипломатическим даром. Во многом благодаря её гостеприимному дому между двумя «ведомствами» наладились добрососедские отношения.
То, что место расположения порта крайне неудачное, было ясно всем и давно. Но, увы, если по каждой мелочи требовалось получить разрешение из Петербурга, то уж о переносе порта в другое место и говорить нечего. Переписка по сему вопросу длилась почти столетие. Ознакомившись с ней, Завойко понял, что можно бесполезно писать бумаги и ещё сто лет – ничего не изменится. На свой страх и риск он организовал экспедицию для поиска более подходящего порта.
С семейной точки зрения момент был не самый удачный: в семье Завойко родился первый ребёнок – сын, которого назвали в честь деда Егором. И всё же Юлия поддержала мужа. Так уж повелось в семьях моряков, что интересы службы всегда занимали первое место.
Командировка была непростой: из Аяна, предполагавшегося в качестве порта вместо Охотска, предстояло найти дорогу, пригодную для доставки грузов из Иркутска. О том, что довелось испытать в этом походе маленькому отряду Завойко, можно написать отдельную книгу, но главное, что все вернулись живыми, разведав путь.
Прошло несколько лет. У Юлии Егоровны родился второй сын, которого назвали Степаном. А через год пришло наконец долгожданное разрешение правления компании перевести факторию в Аян. Муж получил при этом повышение по службе и звание капитана 2‑го ранга.
С двумя детьми его жена направилась на паруснике к новому месту службы мужа. Бытовые условия и климат в Аяне были несколько лучше, но только по сравнению с Охотском. Залив замерзал в середине ноября, а вскрывался ото льда в самом конце мая. Лето короткое, сырое, с холодными туманами. Начинали с голого места. Самим вместе с матросами и служащими фактории приходилось заниматься строительством домов. Своими руками было сделано всё, включая рамы, двери, мебель в доме. Сами рыли глину и выжигали кирпичи. На судах Российско-американской компании доставили только изделия из железа и стёкла. В окрестностях Аяна без ружья гулять не рекомендовалось: медведи иногда забредали в посёлок. Но ещё опаснее были двуногие. Население состояло в основном из ссыльных или каторжных.
Семья Завойко за годы пребывания в Аяне увеличилась ещё на трёх человек: родились дочери, которых назвали Прасковья, Мария, Екатерина. Помимо своих детей супруги воспитывали оставшегося сиротой сына врача Криницкого. Врач пропал без вести, а его жену убили ссыльные. Потом, когда мальчик подрос, Завойко через знакомых в Петербурге и Кронштадте устроил его в Штурманское училище.
Василий Степанович делился с женой всеми замыслами. Его давно привлекали Амур и земли, расположенные южнее. Завойко мечтал о незамерзающей гавани к югу от Амура, но он знал о строжайшем запрещении проникновения в эти территории из-за опасения правительства столкновения с Китаем, поэтому свои замыслы никому не раскрывал, кроме Юлии.
Он нашёл надёжного человека, бывшего штурманского офицера Дмитрия Ивановича Орлова, и отправил его в тайную экспедицию на Амур. Орлов проник не только на Амур, но и дошёл до границы с Кореей. Он вернулся со сведениями чрезвычайной важности, которые Завойко, рискуя понести жестокое наказание за самовольство, отправил в правление Российско-американской компании. Однако он не получил никакого ответа из Петербурга. В частном письме дядя его жены попросил Завойко прекратить любую переписку, связанную с Амуром, не объясняя при этом причин. Василий Степанович вопросов задавать не стал и просьбу адмирала выполнил. К сожалению, посланные им материалы в архивах пока не обнаружены. Возможно, они были уничтожены правлением компании, чтобы о них не стало известно Министерству иностранных дел, наложивших табу на всё, связанное с Амуром.
В 1849 году в Аяне побывал новый генерал-губернатор Восточной Сибири Николай Николаевич Муравьёв. Ознакомившись с результатами трудов капитана второго ранга, генерал понял, что имеет дело с незаурядным организатором, талант которого не используется в должной мере. Он предложил ему адмиральскую должность военного губернатора Камчатки и командира Петропавловского порта.
Завойко согласился не сразу, сказал, что должен обсудить это с женой, поскольку это касалось и её судьбы. Семья была крепким тылом Василия Степановича, жена всегда давала ему дельные советы. Десять лет безвыездно прожили они на побережье Охотского моря, несмотря на то, что срок обязательной службы в этих краях составлял пять лет. На семейном совете после долгих колебаний всё же решили принять предложение Муравьёва.
Вновь собрали пожитки, и на парусном компанейском судёнышке Юлия Егоровна с пятью маленькими детьми, беременная, отправилась по бурному Охотскому морю в плавание, длившееся несколько недель. Как измучились и она, и дети, рассказать невозможно, это можно понять, только испытав самому.
Когда семья губернатора высадилась в Петропавловске, то Юлия Егоровна, казалось бы, разучившаяся чему-либо удивляться, была потрясена увиденным.
В городе свирепствовала цинга, люди умирали от голода, некоторые дома стояли без крыш, многие матросские семьи вообще ютились на улице, везде царили упадок и запустение. Всё портовое хозяйство состояло из старой восьмивесельной лодки. По улицам бродили толпы пьяных иностранных матросов с китобойных судов, некоторые даже с гарпунами. Иностранцы бесчинствовали, нападали на женщин, вырубали ближайшие леса, запасаясь дровами.