Живой и веселый, Харкави, быстро утвердился во мнении окружающих не только как интеллектуал, но и как человек, обладающий незаурядным физическим и моральным мужеством. Во время осады Иерусалима он заслужил репутацию смелого офицера. Как и многие другие из ротных командиров, он был недоволен организацией военных операций Давидом Шалтиелом.
Офицеры Хаганы критиковали Шалтиела. Харкави же явился к нему, подошел к столу, за которым тот сидел и, вытянувшись по стойке «смирно», заявил, что он и его батальон ему как командиру более не доверяют. Вслед за Харкави то же проделали и другие ротные командиры. Успеха они, однако, не достигли. Шалтиел холодно отверг все обвинения, уволил Харкави, многих этим своим поступком возмутив, и приказал ему покинуть Иерусалим. Харкави счел свою короткую военную карьеру законченной и, проделав длинный и чреватый опасностями путь по территории, занятой вражескими войсками, вернулся в Тель-Авив. В Тель-Авиве он явился в министерство иностранных дел, которое тогда состояло из пяти человек. Уолтер Эйтан, генеральный секретарь министерства, встретил его с распростертыми объятиями и назначил руководителем отдела, в котором еще ни одного человека, кроме самого Харкави не было. Эйтан попросил его составить список глав государств, а также министров иностранных дел тех стран мира, которые Израиль предполагал просить о признании своей независимости.
Харкави эту работу с легкостью проделал. Выучив при этом одно из правил, которым руководствуются разведывательные организации. Если информация может быть получена открытым путем из доступных источников, нет надобности прибегать к тайным методам. Выйдя от Эйтана, он завернул за угол и купил экземпляр последнего справочника «Ежегодник государственных деятелей». Это и было первым вкладом Харкави в дела израильской разведки.
Харкави оставался работать в министерстве иностранных дел с перспективой блестящей дипломатической карьеры до 1950 г., когда армия, простив ему его проступок, потребовала его вновь. Его послали в школу подготовки батальонных командиров. После этого Харкави предстал перед начальником Штаба, генералом Ядином, который и предложил ему должность заместителя начальника Военной разведки. Ядин напрямик объяснил, что пост начальника займет Джибли, но уверенности в том, что он справится со своими обязанностями у него нет. Поэтому очень важно прикрепить к Джибли человека, который, кроме военной подготовки, будет иметь и академическую. Харкави в этом смысле был единственным возможным кандидатом. В случае отказа Харкави Джибли свою должность не получит.
Харкави встретился с Джибли и попросил его объяснить, чем занимается Военная разведка. Джибли вынул лист бумаги, начертил на нем схему организации и протянул собеседнику. Харкави это позабавило, и он сразу расположился к Джибли и принял предложение стать его заместителем. Впоследствии он только в редких случаях сожалел об этом.
Начав работу, Харкави вскоре понял, что Военная разведка, пожалуй, одна из немногих областей, где можно сочетать склонность к исследовательской работе с практической деятельностью. Исследовательский отдел, который одновременно является и самым квалифицированным в мире центром по изучению арабской культуры — до сих пор остается одним из достижений Харкави.
«Основные методы разведки — это анализ и оценка», — неустанно повторял он. Мягко, но точно Харкави критиковал действия израильских агентов, которые присылали информационный материал, добытый с риском для жизни, в то время как его можно было найти на страницах «Аль-Ахрам».
Харкави вновь и вновь подвергал сомнению склонность начальников разведки придавать серьезное значение только информации, полученной по секретным каналам. Он утверждал, что слово «Разведка» с большой буквы правильнее было бы заменить словом «Знание» с большой буквы. В своей работе он придавал большее значение понятию «человеческая интуиция», чем понятию «математическая интуиция». Он учил своих сотрудников, что главное в их работе это понимание типа мышления оппонентов. Так же, как в свое время Борис Гуриель, Харкави меньше интересовался числом танков у противника, чем вопросом о том, что он с ними собирается делать.
Не следует при этом забывать, что Харкави был человеком действия и не боялся вооруженных столкновений с противником.
12 апреля 1955 г. палестинское движение сопротивления оформилось в прочно спаянную профессиональную партизанскую организацию, вовсе не похожую на то, чем оно было до этого, т. е. на свободное объединение враждующих между собой фракций, не связанных никакой дисциплиной.