Халиль эль-Вазир родился 10 октября 1935 года в городе Рамле недалеко от Яффо на территории подмандатной британской Палестины. Семье принадлежала небольшая городская пекарня, где Халиль, будучи ребенком, помогал отцу. С началом первой арабо-израильской войны (1947–1949) многочисленный клан эль-Вазир переехал из Рамле в сектор Газа. С раннего детства Халиль сильно отличался от своих сверстников. Он рос нелюдимым юношей. Все, кто вспоминал его в этот период, говорили, что Абу Джихад уже в то время внушал неосознанный страх. Его взгляд мог любого повергнуть в трепет. Он был прирожденным лидером, на формирование личности которого наиболее сильное влияние оказал отец. Его слова врезались Халилю в память: «Чтобы добиться в этой жизни хоть чего-нибудь, чтобы вырваться из серой, беспросветной жизни, следует учиться и получить хорошее образование». Это стало правилом, установкой, от которой он даже в зрелом возрасте не отступал. Халиль много и усердно учился и, как результат, окончив курс среднего образования с прекрасными результатами, поступил в Александрийский университет. Мог ли тогда подумать его отец, что сын станет одним из самых известных душегубов своего времени?
В первые годы учебы в Александрии Халиль эль-Вазир принял активное участие в палестинском студенческом движении, идеи которого казались ему близки и понятны. Однако Халиль очень быстро разочаровался в своем окружении. В отличие от многих других активистов он настаивал на активных, решительных немедленных действиях, отмечая, что в нынешнем виде палестинцы являлись не более чем разменной картой в грязной политической игре арабского мира. «Марионетки, пустые болтуны и дешевые пижоны!» — так он характеризовал политических оппонентов. Вместе со своими единомышленниками он вступил в запрещенную в Египте организацию «Мусульманские братья», создав палестинское отделение в Александрии и секторе Газа.
Членство в экстремистской религиозной организации очень быстро привело его на скамью подсудимых. В заключении Халиль провел довольно длительный срок, что не только закалило его бойцовский дух, но и еще более подняло его авторитет среди палестинской диаспоры Египта. Находясь в египетской тюрьме, он начал изучать израильский опыт борьбы за независимость. Он уделял много времени изучению иврита и истории сионистского движения. После освобождения из тюрьмы египетские власти депортировали его в сектор Газа, где он со свойственной ему энергией и предприимчивостью стал создавать первые палестинские террористические группы. В 1957 году он вновь был арестован египетской службой безопасности и выслан в Саудовскую Аравию, где два года учительствовал.
В 1959 году он перебрался в Кувейт, где в то время нашли работу многие палестинские студенты. Женился на своей дальней родственнице Интиссар и после рождения первенца взял себе имя Абу Джихад. Тогда же произошло его знакомство с Ясиром Арафатом, вместе с которым он заложил основу палестинского военно-политического национально-освободительного движения ФАТХ. Их встречу можно было охарактеризовать как встречу «средневековой жестокости» со «средневековым коварством». Молодые люди быстро поняли друг друга, нашли общий язык и оценили перспективу объединения своих усилий. Арафат нужен был Абу Джихаду как тонкий изощренный политик, в свою очередь, Арафат нуждался в решительном, энергичном человеке, готовом поставить цель выше норм нравственности и морали. В результате встречи было достигнуто соглашение об организации новых форм борьбы с сионистским врагом — ведении пропагандистской работы, вербовке новых членов организации, их подготовке и обучению приемам ведения партизанской войны.
В 1964 году Абу Джихад отправился в КНР, где стал изучать основы народной партизанской войны. Затем, уже в Северном Вьетнаме и КНДР он получил военное образование. Вернувшись на Ближний Восток, он стал создавать тренировочные лагеря на территории Алжира.