Прибытие в середине 1790 г. Второго флота с новыми запасами и в следующем году — Третьего флота облегчили кризис, хотя к тому времени четверть бывших на борту заключенных умерли во время плавания, а те, кто выжил, были не способны работать. Возделывание плодородной почвы в районе Парраматта в верхней части залива гарантировало выживание. К концу 1792 г., когда Филлип вернулся в Англию, посевы зерновых, огороды и фруктовые сады занимали 600 га. В гавани была рыба, на равнине Камберленд — пастбища. Стоило колонистам приспособиться к палящей летней жаре — в декабре 1788 г. температура достигала 44 °C, — климат смягчился. Организм британцев, настроенный на более высокие широты, суровую зиму и влажную, плодородную землю с обилием растительности, привыкал к пьянящим запахам раскаленного, сухого и скудного растительного покрова, приглушающего ослепительную яркость солнечных лучей. Командующий полком Нового Южного Уэльса, направленным туда в 1792 г., к своему огромному удивлению, обнаружил «вместо камней, которые я ожидал увидеть… цветущие и приносящие всевозможные плоды сады».
Филлип руководил всей колонией в течение отчаянных первых лет, пока обострение почечнокаменной болезни не вынудило его вернуться в Англию. В декабре 1792 г. он забрал с собой кенгуру, собак динго, растения, геологические образцы, рисунки и двух аборигенов — Беннелонга и Йеммерраванни. Главная неудача постигла его в отношениях с коренным населением района. Ему было поручено «наладить контакт с коренными жителями и добиться их расположения, обязав всех наших подданных жить с ними в мире и дружбе». Филлип попытался выполнить задание, предлагая в знак доброй воли подарки и наказывая любого из своих, кто докучал местным жителям. В 1790 г., даже когда в него самого было пущено копье, он запретил применять карательные меры. Убедившись в безуспешности своих усилий по установлению близких отношений, Филлип захватил несколько коренных жителей. Первый — Арабану умер во время эпидемии оспы, охватившей местное население через год после прибытия европейцев. Другой — Беннелонг бежал, но после ранения Филлипа вернулся, чтобы вновь наладить отношения. Только когда копье было пущено в британского охотника Джона Макинтайра, губернатор решил прибегнуть к беспощадному возмездию, приказав солдатам принести шесть голов аборигенов.
Эта военная операция провалилась, и Филлип вернулся к своим бесплодным попыткам сохранения мира. Не все контакты были враждебными, аборигены помогали колонистам ловить рыбу, обменивали свои инструменты и оружие на топоры, зеркала, одежду. Европейцы оказывали помощь аборигенам, нуждавшимся в лечении оспы. Это общение проходило в процессе преодоления языкового барьера и различий в восприятии, особенно остро проявлявшихся, когда одна сторона захватывала имущество или нарушала обычаи другой. Европейское огнестрельное оружие и европейские болезни давали оккупантам смертоносное преимущество, и около 3 тыс. жителей территории вокруг залива Порт-Джексон обходили стороной постройки, сгрудившиеся на его берегу, а также группы людей, выходивших оттуда на поиски пропитания. «Наше общение с ними не было ни частым, ни сердечным», — писал один из морских офицеров. Сначала он думал, что метание копий и нападение с дубинками на отставших были вызваны «духом злобного легкомыслия», но, исходя из последующего опыта, он пришел к «выводу, что эти беды нам приносили ничем не спровоцированные грубость и оскорбления в их адрес со стороны безнравственных личностей среди нас». Другой полагал, что до тех пор, пока аборигены «придерживаются мысли о том, что мы отняли у них их жилища, они должны неизменно считать нас врагами».
Британцы завладели Новым Южным Уэльсом согласно выведенной из международного права доктрине о том, что это была