Неприятности стали доставлять не аборигены, а каторжане, которые устраивали побеги. (К концу 1858 года количество заключенных достигло уже 773 человек.) Первым побег совершил каторжанин Нарайян, приговоренный к пожизненной ссылке за подстрекательство к бунту. За ним послали погоню, поймали и вынесли ему смертный приговор, который тут же был приведен в исполнение. Последовал ряд одиночных, а затем и групповых (одна из групп насчитывала даже до 21 человека) побегов. Большинство бежавших было поймано и казнено. Один из них покончил жизнь самоубийством, другой вернулся назад совершенно больным, проведя в джунглях 12 дней. Он бежал с группой каторжан. Бежавший рассказал, что они неожиданно столкнулись с аборигенами, в результате большинство его товарищей были зверски убиты. С пытавшимися бежать из тюрьмы Уокер расправлялся жестоко. Некоторые английские чиновники считали, что даже слишком.
Данные о положении дел с каторжанами, по состоянию на 16 июня 1858 года (через три месяца после вступления Уокера в должность), свидетельствуют сами за себя:
Всего каторжан — 773
Умерших в лазарете — 61
Совершивших побег и непойманных (вероятно, умерли от голода «или убиты аборигенами) — 140
Покончивших жизнь самоубийством — 1
Повешенных за попытку совершить побег — 87
Тем не менее побеги продолжались, и к тем, кого удавалось поймать, относились без всякой жалости — в большинстве случаев их ожидало жестокое наказание.
1 апреля 1859 года Уокер узнал, что осужденные пенджабцы (около 200 человек) организовали заговор с целью захвата власти. Они планировали убить Уокера, индийского надзирателя и перебить морскую стражу. Однако среди заговорщиков нашелся предатель. Он рассказал Уокеру о заговоре. Выступление каторжан началось, как и планировалось, в полдень. Один осужденный, по имени Сарвар Шах, направил дуло ружья на Уокера, а другой, Маттра Дас, вырвал его из рук Шаха. Но и у Маттра Даса ружье выхватил Насар Мухаммед и бросился с ним на Уокера. Последнему удалось бежать — его спасли два десятника. После этих событий Уокер стал применять к заключенным еще более жесткие меры.
Уокер всячески избегал встреч с андаманцами. Даже для сбора пальмовых листьев, так необходимых для крыш хижин, он обычно отправлял суда в Бирму. Однако ему все-таки пришлось отрядить бриг «Матлах» за пальмовыми листьями на соседние острова. Тут-то и произошло первое столкновение Уокера с аборигенами. Один из его офицеров был убит. В отместку команда «Матлаха» разрушила 40 хижин андаманцев. Так началась необъявленная война между андаманцами и английской администрацией, которая ни на миг не затухала. Правда, аборигены меньше нападали на тех, кто носил знаки заключенных, например железные кольца вокруг лодыжек, но не щадили десятников, у которых отличительными знаками являлись красный тюрбан, бляха и цветной пояс.
В двух стычках с андаманцами было много убитых. В одной участвовал лейтенант Темплер, а другая стала известна под названием «битва за Абердин». 5 августа 1858 года со шхуны «Шарлотта», находившейся тогда в гавани, был принят сигнал о том, что «замечено несколько аборигенов». По распоряжению Уокера лейтенант Темплер вместе с Роу, старшим помощником с «Сесостриса», старшиной и восемью матросами отправились «следить за передвижениями противника».
По поводу этого инцидента Уокер писал, что в каноэ, вблизи мангровых зарослей, заметили одного аборигена. Он явно старался побыстрее уплыть. За ним послали погоню. На берегу заметили еще две лодки. При приближении к берегу на группу обрушился град стрел. Матросы ответили залпом с лодки. В результате абориген был убит.
Затем лейтенант Темплер, оставив в лодке четырех человек под командованием Роу, вместе с пятью матросами бросился к каноэ на берегу и после небольшой перестрелки захватил его. После этого он ворвался в деревню и завладел двумя другими каноэ, находившимися на другой стороне мангровых зарослей. Матросы разрушили несколько хижин и только после этого вернулись назад с тремя каноэ и телом убитого аборигена. Оставшиеся на берегу местные жители кричали им вслед. Ни один человек из группы не пострадал, но лейтенант Темплер считал, что несколько аборигенов было ранено, поскольку он видел, как упали пять или шесть человек. В своем рапорте лейтенант Темплер выразил желание разрушить эту деревню и получил на это согласие Уокера.