2 мая Юлия Егоровна с детьми перешла на судно Российско-американской компании «Атха», чтобы следовать в Аян. Но с наблюдательного поста сообщили о судах неприятеля. Её с детьми снова свезли на берег и отправили на хутор. Судно спрятали в одной из бухт Авачинской губы. Единственным пропитанием для семьи Завойко была рыба. В довершение всех неприятностей пробудился Авачинский вулкан. Извержение длилось около двух месяцев. Вся округа была засыпана вулканическим пеплом.
19 мая в Авачинской бухте вновь появилась мощная эскадра союзников, но она застала лишь брошенный людьми город, и поэтому вскоре отправилась на поиски беглецов к Амуру. Перед уходом неприятель сжёг многие дома в Петропавловске. Английский адмирал, зная, что семья Завойко скрывается в окрестностях Петропавловска, сделал великодушный жест, передав через парламентёра поручика Губарева для семьи губернатора ящик с черносливом, печенье и ящик вина.
В конце лета Юлию Егоровну с детьми забрал компанейский бриг «Беринг». Его капитан сумел незаметно для неприятельских паровых судов провести свой парусник в Де-Кастри.
Завойко был назначен «начальником морских и сухопутных сил, на Амуре расположенных». Встретить семью ему не удалось. Всех, с кем он прибыл на Амур, привезли и высадили в открытом поле. Требовалось создать всё с нуля. У него не было ни минуты личного времени. Адмирал был занят строительством укреплений, жилья, складов и прочими обязанностями по обеспечению жизни тысяч людей, за которых он отвечал. Да и не мог он знать точного времени прибытия судна.
Юлии Егоровне и другим жёнам офицеров сначала пришлось с детьми идти пешком по бездорожью 25 вёрст до озера Кизи, там все набились в маленькую избушку и переночевали. Невельской свой пеший поход в Де-Кастри описывал в воспоминаниях, как подвиг. А что же говорить о женщинах с маленькими детьми? Утром их рассадили по лодкам, и началось путешествие по озеру. Из-за мелководья солдаты, бредя по пояс в воде, тащили лодки бечевой. Добрались до Мариинского поста, пробыли там двое суток, пока наконец их всех не погрузили на баржу и не доставили в Николаевск. Спустя двадцать лет Юлия Егоровна вспоминала: «Наконец, после долгой мучительной неизвестности мы с мужем были вместе. Минуты свидания не решаюсь описывать. Чувство живо…»
Разместились они в маленьком домике, служившим и квартирой, и адмиральским штабом. Дети спали в матросских койках, расположенных в два яруса.
Жену адмирала не беспокоил неустроенный быт, она не жалела потерянных вещей. Юлию Егоровну тревожило только отсутствие учебников, по которым она занималась с детьми. Ей помогли офицеры, собрали необходимые книги и даже стали заниматься со старшими мальчиками по программе Морского корпуса, что было весьма кстати – дети хотели стать моряками.
Строительство укреплений не прекращалось и в самые лютые морозы. Свидетели тех лет вспоминали, что к месту установки батарей часто являлся и неутомимый Завойко, строго контролируя ход строительства, не скупясь на разносы руководителям работ в случае обнаруженных недостатков. Николаевский пост к зиме уже приобрёл вид военного городка: помимо казённых зданий в нём появилась слободка из домов нижних чинов, сколоченных на скорую руку.
Обитатели Николаевска старались скрашивать свою беспросветную жизнь самодеятельным театром, вечерами в клубе, танцами, на которых играл настоящий военный оркестр, привезённый из Иркутска. Юлия Егоровна, раньше всегда активная участница общественной жизни, в Николаевске заболела воспалением лёгких и вынуждена была в основном находиться дома, даже в Новый год.
В дневнике 31 декабря 1855 года она записала: «Сегодня муж даёт вечер в клубе… Мне ещё не позволено выходить, да и сил нет. Правая рука у меня плохо действует после болезни; шить и кроить надо, а совсем не могу. Наши вещи ещё не все пришли из Де-Кастри, а дети обносились».
Чаще всего у Завойко в гостях бывали капитан 1‑го ранга Степан Степанович Лесовский, капитан 2‑го ранга князь Дмитрий Петрович Максутов, родственник Василия Степановича по матери лейтенант Николай Алексеевич Фесун и правитель канцелярии Аполлон Давыдович Лохвицкий. Обед состоял из рыбы. Солонина считалась роскошью. Лесовский по просьбе Завойко проэкзаменовал детей контр-адмирала по арифметике и алгебре. Василий Степанович мечтал отдать их в Морской корпус.
В 1855 году осложнились взаимоотношения Муравьёва и Завойко. Причина этого достоверно не известна: оба на эту тему не распространялись. Василий Степанович обратился в Морское министерство с просьбой перевести его, как тогда говорили, в Россию, поскольку подросли дети и надо дать им образование. Великий князь Константин прислал письмо, в котором просил Завойко остаться на Дальнем Востоке ещё на год, и приложил к письму приказ, утверждённый царём, о зачислении его старших, Георгия и Степана, юнкерами флота в 47‑й флотский экипаж.
В декабре 1856 года Василию Степановичу разрешили наконец сдать дела и выехать в Петербург. 16 лет пробыли они с женой на восточной окраине России. Возвращались не богаче, чем уезжали. Снова нелёгкий путь с маленькими детьми. В Москве их обокрали. После всех дорожных мытарств поездка в Петербург в железнодорожном вагоне показалась раем.
Здоровье Юлии Егоровны было подорвано всем перенесённым. В её записках читаем: «Предшествующие лишения и тяжёлая жизнь отозвались на детях, и долго мне пришлось бороться с их недугами…» Мечта о том, что её сыновья будут служить во флоте, не осуществилась. Гардемарин Георгий Завойко умер в 1858 году от тифа. Гардемарин Иван Завойко в 1862 году был убит горцами на Кавказе. Третий сын, Степан, не мог служить из-за крайне слабого зрения. В Петербурге она проводила в последний путь свою самую младшую дочь Анну.