Джулиани недолго оставался на службе в Вашингтоне. Он предпочел Нью-Йорк. В середине 1983 года неожиданно с поста генерального прокурора южного округа города ушел в отставку Джон Мартин, прослуживший там многие годы. И Рудольф Джулиани занял его кресло. Как он сам выразился, чтобы «подсыпать перец из Вашингтона на войну с мафиями, лучше всего самому оказаться на передовой линии фронта этой войны». Прошло немного времени с тех пор, как Рудольф Джулиани приобрел репутацию самого успешного прокурора Нью-Йорка. Тем более что Джулиани, являясь выходцем из семьи эмигрантов из Италии, стал во главе опасной войны с мафиози одного с ним этнического происхождения.
Рудольф Джулиани еще с детства питал отвращение к слову «мафия». Он на всю жизнь запомнил рассказ бабушки о том, почему они с дедушкой решили покинуть родные места и сбежать в Соединенные Штаты. Дедушку, тогда еще совсем молодого человека, однажды чуть не до смерти избили гангстеры «Коза Ностра». Он также запомнил рассказ своего отца, владевшего в Бруклине пиццерией, о том, как он чудом избежал смерти от повадившихся в его ресторан рэкетиров. Эти уголовники были выходцами из Сицилии.
Теперь прокурор Рудольф Джулиани по своей инициативе возглавил войну против криминальных семейств Нью-Йорка.
Знакомство с документами ФБР окончательно доказало новому прокурору, что этот самый многонаселенный город страны был центром преступной деятельности «итальяно-американских мафий». Спустя некоторое время после тщательного анализа ситуации Рудольф Джулиани окончательно убедился в том, что Пол Кастелано – лидер организованной преступности в стране. По его мнению, все преступления, совершенные мафией Кастелано, во много раз превышали число преступлений той же мафии во времена Дона Карло.
По приказу Рудольфа Джулиани первым в разработку попал дом Аниэлло Деллароси. Стали прослушивать и его тайный офис в подвале одного из домов «Маленькой Италии». Вслед за этими объектами миниатюрными подслушивающими устройствами оборудовали и дом Джона Готти, и «Рыбный клуб», откуда он давал указания своим подчиненным. Не был забыт и роскошный особняк в предместье Нью-Йорка на Лонг-Айленде его ближайшего помощника Анжело Руджиерро.
Через месяц после установки подслушивающих устройств в объектах новому прокурору был представлен отчет: почти пять тысяч страниц записей разговоров мафиози. Потребовался месяц для их изучения и определения степени вины каждого из попавших в поле зрения агентов ФБР.
По окончании чтения Джулиани пришел к выводу о виновности всех перечисленных мафиози во главе с Полом Кастелано в совершении многих преступлений. Генпрокурор был готов возбудить уголовные дела против Пола Кастелано, Аниэлло Деллароси, Джона Готти и Анжело Руджиерро.
Неожиданно ему поступила дополнительная информация о совершенных солдатами Джона Готти преступлениях, включая убийства десяти человек, отказавшихся платить рэкетирам.
Расследование этих преступлений было быстро завершено. Ознакомившись с результатами следствия, Джулиани не сомневался в виновности солдат. Генеральный прокурор издал приказ об аресте двадцати двух солдат отрядов мафии Пола Кастелано. Таков был первый итог крестового похода против мафии нового генерального прокурора южного округа Нью-Йорка.
Но возникло одно обстоятельство, которое отложило решение Рудольфа Джулиани о возбуждении уголовного дела против четырех главных мафиози. Необходимо было расследовать уголовное дело Анжело Руджиерро и доказать его связи с Джоном Готти.
В отрядах Джона Готти, помимо небезызвестного информатора ФБР солдата Ваху, был и другой завербованный агентами ФБР солдат по прозвищу Вилли Бой. Он сумел разнюхать о связи Анжело Руджиерро с поставщиками наркотиков. И хотя он смог узнать их имена, был твердо уверен, что Анжело Руджиерро с Джоном Готти втайне от всех занялись наркобизнесом. С тех пор слежка за Анжело Руджиерро стала круглосуточной. В силу этого затянулось возбуждение уголовного дела против четверки мафиози.
В начале 1984 года численность группы Анжело Руджиерро увеличилась вдвое. Точное количество ее членов в то время еще не было известно агентам ФБР, так же как и не было известно, кто руководил торговлей наркотиками. В руки Вилли Боя попала важная информация: Анжело Руджиерро еще в конце 1983 года установил контакт с главарями «Коза Ностра» из Палермо, и те поставляли ему в Нью-Йорк большие партии героина, от продажи которых группа Руджиерро каждый месяц получала не менее 300 тысяч долларов.
Следственные органы Нью-Йорка к тому времени получили дополнительную информацию о том, что Анжело Руджиерро возобновил давнишние связи с мексиканскими контрабандистами, доставлявшими в США кокаин, марихуану и синтетические наркотики.
Анжело Руджиерро и его сообщники боялись, что эта информация станет известна Полу Кастелано, прекрасно понимая, чем это могло для них закончиться.