Так что нет ничего удивительного в том, что в шестнадцатом и семнадцатом веках эта «земля никого» была облюбована пиратами и постепенно превратилась в основную базу морского разбоя в Восточном Средиземноморье. Хайфские пираты грабили и христианские, и мусульманские корабли; совершали набеги и на Акру, и на дальние земли; более того, в значительной степени, упадок порта в Акре был связан именно с существованием ее неспокойного соседа. Бороться же с пиратами было делом чрезвычайно сложным. К тому моменту, когда в городе появлялись регулярные оттоманские части, пиратские суда оказывались уже далеко; но как только армия уходила, пираты снова возвращались в город. Оставлять маленький постоянный гарнизон в городе с разрушенными стенами было бессмысленно, поскольку такой гарнизон оказывался беззащитным перед пиратскими пушками и неожиданными нападениями с моря; держать же в маленьком городе целую армию было и слишком дорого, и нерационально, и чрезвычайно сложно во всем, что касается обеспечения ее продовольствием и снаряжением. В результате, пираты обосновались в Хайфе достаточно основательно и постепенно превратили ее в одну из своих основных баз. Более того, как кажется, постоянные жители Хайфы тех времен и сами лишь немногим отличались от пиратов — как по свирепости, так и по готовности к риску. Один из документов сообщает, что в 1575 году, когда случайный торговый корабль попытался пришвартоваться в Хайфском заливе во время бури, на него напали жители города, выйдя в бушующий залив на маленьких рыбацких и пиратских лодках. Впрочем, в конечном счете почти чудом — благодаря исключительному искусству капитана и лоцмана из Акры — судну все же удалось спастись.
Путешественники того времени писали, что в Хайфе каждый посетитель города оказывается в опасности, и рекомендовали паломникам ходить по городу группами, постоянно держать оружие наготове и стараться засветло покинуть городскую черту. Испанец Антонио де Кастильо, оказавшийся в Хайфе в 1628 году, сообщает, что даже хайфская церковь находится в состоянии запущенном и неухоженном. В 1701 году французский посланник в Сидоне, бывший одним из немногих европейцев, оставивших воспоминания о Хайфе того времени, описывает ее, как «lieu d’azille pour tout sorte de gens», что дословно переводится, как «место убежища для всякого рода типов». Впрочем, слово «azille» может иметь и иной смысл — «приюта для безумцев». И действительно, человек, случайно зашедший в те времена в хайфскую пивную или бордель, сталкивался не только с ожесточенностью искаженных и израненных лиц, но и с пугающей хищностью взглядов и странностью поступков. В результате к середине семнадцатого века эта столица пиратов Восточного Средиземноморья — так же как, например, и знаменитая столица Пиратов Карибского бассейна Порт-Рояль на острове Ямайка — приобрела несколько сомнительную репутацию города, большую часть населения которого составляют пираты, разбойники, содержатели притонов, проститутки и торговцы краденым. На ночных улицах, по которым текли помои и нечистоты, среди запущенных домов разносилась пьяная брань, крики, громкие песни, женский визг и хохот. Жители Средиземноморья иногда называли Хайфу «маленькой Мальтой», иначе говоря, местом, где слово султана и его пашей достаточно мало что — или даже совсем ничего — не значило.