Одной из причин регулярных конфликтов были сексуальные отношения. С самого начала среди колонистов существовало огромное несоответствие в численности мужчин и женщин — в соотношении примерно четыре к одному до конца 1820 г. Основатели колонии понимали, что в такой ситуации будут возникать беспорядки, и сообщили Филлипу, что его мужчины могут брать женщин с тихоокеанских островов. Во время плавания Первого флота Филлипу и офицерам с огромным трудом удалось изолировать заключенных женщин от мужчин, а поддержка, которую он оказывал прибывающим парам, должна была означать поощрение цивилизующей роли семейных отношений. Губернатор при этом особо опасался распространения гомосексуализма среди мужчин и считал, что наказание за содомию должно быть чрезвычайно жестким. «Я хотел бы, чтобы такой преступник содержался под стражей, пока не появится возможность передать его туземцам Новой Зеландии и позволить им съесть его». Поскольку эти варианты тихоокеанского сожительства и наказания были изначально обречены, физическое влечение и беспорядочные сексуальные отношения создавали тяжелую проблему для начальства исправительной колонии.
Филлип также считал, что со временем аборигены, возможно, «позволят своим женщинам выходить замуж и жить» с каторжниками. Как только взоры колонистов обратились к местным женщинам, они стали воспринимать их как свою собственность. Сначала отчеты офицеров о встречах в окрестностях Сиднея излагались изящным языком цивилизованных мужчин, встретивших женщин, живших в природной среде, «лесных нимф» и «черных, как сажа, сирен», невинных в своем обнаженном бесстыдстве. В тщательно составленных повествованиях эти образованные англичане подчеркивали, что туземки находятся в полном подчинении у своих спутников жизни, и, исполненные нравственного отвращения, порицали аборигенов, которые предлагали им женщин. Сексуальные контакты между солдатами, каторжниками и аборигенками были обычным явлением и отмечены распространением венерических болезней. Тем не менее длительные отношения устанавливались нечасто, а отсутствие взаимопонимания относительно характера этих контактов обычно вызывало трения. Созданию семьи мешало то, что слишком часто страсть и любовь пересиливали позор и презрение, которые вызывали смешанные браки.
На рубеже веков уже были налицо зачатки постоянного проживания. Пять тысяч британских постоянных жителей Нового Южного Уэльса были поровну поделены между Сиднеем и территорией в глубине страны (и еще тысяча на острове Норфолк), что указывает на равновесие между торговой и сельскохозяйственной деятельностью. Колония приближалась к достижению самообеспечения продовольствием, а быстрый рост местного предпринимательства поддерживал уровень жизни, по крайней мере сопоставимый с уровнем жизни метрополии. Такое успешное переселение, состоявшееся намного быстрее, чем это ранее происходило при колонизации в Северной Америке, вызывало изменение принципов, на которых основывалась колония, начинавшаяся как место наказания.
В соответствии с предназначением поселения как места ссылки Филлип запретил строительство любых судов, кроме самых мелких; тем не менее с 1800 г. на западном побережье Сиднейской бухты активно функционировала судостроительная верфь. Колония организовывалась как место отбывания наказания в целях сдерживания преступности, но само по себе ее успешное создание казалось наградой для преступников. Это нашло отражение в ироничном замечании английского священнослужителя Сиднея Смита о том, что «старинное занятие — карманные кражи, — разумеется, не станет более постыдным оттого, что оно может в конце концов привести к владению фермой в тысячу акров на реке Хоксбери».
Более того, условия жизни заключенных, видимо, убеждали их в собственной неисправимости. Критически настроенный капеллан колонии Сэмюэл Марсден в 1798 г. жаловался губернатору Хантеру, что «беспорядки, распутство и безнравственность… насквозь охватили все поселение»; сам Хантер сообщал, что «никогда нигде в мире не были собраны вместе более испорченные, распутные и нерелигиозные люди». Джереми Бентам, реформатор уголовного права, призывал британское правительство принять его проект строительства в Англии тюрьмы нового типа, архитектура которой позволила бы держать всех заключенных под постоянным наблюдением, что приведет их к раскаянию. Однако схема транспортации преступников имела изъяны как экономического, так и нравственного характера.