Вскоре по всей Италии пронеслось тревожное известие, что мстительный Драгут во главе полутора сотен галер подошел к Неаполю. Узнав об этом, Дориа сразу же покинул Геную с тремя десятками оказавшимися в тот момент у него под рукой судов. На палубах готовились к неизбежному бою его испытанные в походах и схватках «верные собаки». Предоставим здесь слово старинной хронике: «…Дориа увидел ночью идущий на него турецкий флот под парусами и на веслах. Ему советовали бежать на самой легкой из всех галер, но Дориа не хотел показать такой трусости. Он приказал офицерам построить корабли в ордер баталии, выступить и стараться сохранять тот же строй. Как христианские галеры были легче на ходу турецких, то он надеялся, что ежели неприятельский флот и будет его преследовать, то не нагонит разом всю эскадру, и потому Дориа вознамерился сражаться с галерами, которые будут его настигать, и надеялся их побрать, потому что на его судах были храбрые солдаты. Намерение было хорошо и много удалось, но турки залпом по генуэзским галерам навели такой ужас, что все корабли рассеялись и, несмотря на отчаянные сигналы адмирала, обратились в стремительное бегство. Драгут немедленно погнался за беглецами, взял из них пять галер в абордажных драках, а две потопил. По несчастию Дориа, как раз эти семь кораблей нагружены были деньгами, которые везли в Германию на жалованье солдатам. Там же находилось множество немецких солдат и офицеров. Дориа сильно переживал столь серьезную неудачу, не без оснований боясь возможного гнева своего сюзерена. Себя он прилюдно укорял за то, что возвратил свободу мерзкому и гнусному Драгуту, столь вероломно нарушившему некогда данную им клятву никогда не нападать на христиан… Современники при этом уверяли, что когда слова Дориа передали знаменитому корсару, то он со смехом отвечал:
— Я давал клятву в тюрьме и по принуждению, а теперь вовсе не обязан ее хранить. Зато я могу теперь поклясться в том, что если в мои руки попадется этот прахоподобный и дряхлый генуэзец, то я никогда не посажу его за галерное весло и не стану требовать с него выкупа, пообещай он мне хоть полмира! Я нанижу его мертвую голову на острую пику и выставлю на всеобщее обозрение, чтобы каждый правоверный мог подойти и плюнуть в пустые глаза тому, кто смог усомниться в моей чести и справедливости!»
…Остатки разбитой неистовым Драгутом итало-испанской эскадры спасла только ночь. За темное время суток Дориа сумел достаточно оторваться от турок и взять курс на Неаполь. Однако, несмотря на серьезное поражение, старый флотоводец присутствия духа не потерял и по пути все же исхитрился деблокировать от французов крепость Орбителло.
— Это был мой последний поход. Более в море я уже не пойду! — объявил адмирал, едва вступив на неапольский причал. — Теперь пусть воюют молодые! Свои галеры я отдаю внуку Жану Андре. Отныне ему множить славу семьи Дориа!
Однако Дориа был бы не Дориа, если бы он напрочь отказался от политических интриг. В ту пору итальянская Сиена решила передаться в руки Генриха И. Карл V немедленно решил покарать отступников. Неаполитанский вице-король Петр Толедо должен был осадить и взять штурмом непокорный город. Перед выступлением в поход вице-король решил посоветоваться с адмиралом, который жил тогда в городке Пуццоло. Дориа был настроен против похода:
— Я совсем недавно лишился в бою с пиратами нескольких галер и ничем не смогу вам помочь! А без флота вы Сиену не возьмете. К тому же французский король непременно пришлет на помощь городу большое войско. Императору необходимо будет высылать вам значительные подкрепления, и драка за город будет долгой и дорогой. Поверьте, что Сиена этого не стоит.
— Что же мне в таком случае делать? — обиделся Петр Толедо.
— Думаю, лучше подождать! Все образуется само собой! В моих пожилых летах неразумно подвергать себя опасностям без всякой надежды на успех и славу!
Однако вице-король в поход все же выступил. Предприятие, как и предостерегал адмирал, вышло неудачным. Сам вице-король умер в дороге, а войско разбежалось.