Получив назначение в кавалерию, Першинг участвовал в кампании против индейцев-апачей на юго-западе, а в 1891 г. принимал участие в облавах на индейцев-сиу после битвы в южной Дакоте. В 1891–1895 гг. Першинг был профессором военных наук в Университете в Небраске и получил степень [доктора] права.
Когда началась Американо-испанская война, капитан Першинг получил назначение в 10-й кавалерийский полк, в котором было много чернокожих. Это обстоятельство, а также суровость капитана и недостаток чувства юмора снискали ему прозвище «Черный Джек», оставшееся за ним на всю жизнь. Першинг и его чернокожие солдаты хорошо сражались в Эль Каней и на Кеттл Хилл на Кубе, и тогда на капитана впервые обратил внимание президент Теодор Рузвельт.
Вылечившись от малярии, которой он заразился на Кубе, Першинг в 1899 г. получил назначение на Филиппины, где сумел разработать тактику для подавления повстанцев Моро. Затем он сменил службу на Филиппинах на обязанности военного атташе в Японии и наблюдателя во время Русско-японской войны 1904–1905 гг.
Служба на Филиппинах, а также информация, присылаемая Першингом из Японии, привели к тому, что Рузвельт произвел капитана Першинга в 1906 г. прямо в бригадные генералы. Это необычайное повышение с пропуском нескольких чинов поставило Першинга выше нескольких сотен офицеров и ярко продемонстрировало веру президента в Першинга. Впрочем, завистники добавляли к этому, что генерал якобы женился на дочери сенатора в политических целях.
Но что бы ни стояло за стремительным взлетом Першинга, время показало, что выбор президента был правильным. После службы на Дальнем Востоке генерал был переведен в Сан-Франциско. Преследуя предводителя мексиканских мятежников Панчо Вилью, напавшего на Колумбус (Нью Мексико), Першинг 9 марта 1916 г. вторгся в Мексику во главе своего карательного отряда. Хотя Першингу не удалось догнать и уничтожить Вилью, он нанес его сторонникам серьезное поражение и расстроил их планы. Кроме того, Першинг приобрел ценный опыт в использовании новых вооружений, включая автомобили и аэропланы. Он стоял у истоков превращения армии США из конной в механизированную.
Пока Першинг преследовал Вилью, его жена и две дочери погибли во время пожара в своем доме в Сан-Франциско. Першинг, и без того человек молчаливый, стал еще более замкнутым и холодным, весь ушел в работу, требовательность его еще более возросла.
12 мая 1917 г. Першинг был назначен командующим американскими экспедиционными силами (АЭС) и 23 июня прибыл во Францию, где сразу же возник вопрос о статусе американских войск по отношению к армиям союзников. Выполняя инструкции президента Вильсона, Першинг не согласился на слияние американских частей с другими, настояв на том, что они должны действовать самостоятельно на своих участках. Сколько бы ни пытались уговорить его изменить это решение, Першинг всегда отвечал: «От меня ничего не добьетесь».
Только однажды Першинг изменил этому правилу. Еще не закончив обучения и боевой подготовки своей армии, численность которой достигала миллиона человек, он ненадолго прислал подкрепление французам во время немецкого наступления весной 1918 г. Но как только положение союзников стабилизировалось, он снова отвел свои войска.
Летом того же года Першинг направил АЭС в качестве самостоятельного воинского соединения в район Лоррена. Не желая быть втянутым в позиционную войну, Першинг решил применить наступательную тактику, чтобы сделать военные действия маневренными. АЭС удалось оттеснить немцев в районе Марны-Эны 25 июля — 2 августа в районе Сен-Мийеля 12–17 сентября, а также — в районе Мес-Аргонн 26 сентября — 11 ноября, заключив перемирие.
Першинг со своей американской армией поздно вступил в войну, но многого добился. Хотя АЭС составляли на Западном фронте только 10 процентов всех сил союзников, немцы вынуждены были сосредоточить против них около четверти своей армии, чтобы остановить контрнаступление американцев в конце войны.
Першинг проявил замечательную способность командовать своей миллионной армией и одновременно противостоять нажиму союзников. Он также реорганизовал штабную работу, создав курируемые генеральным штабом подразделения — административное (G-1), разведывательное (G-2), оперативное (G-3), а также — по коммуникациям и снабжению (G-4), — систему, существующую в армии США и сегодня.
По прибытии с АЭС во Францию в 1917 г., Першинг получил чин генерал-майора, а позже, в том же году, — полного генерала. По возвращении в США он получил чин генерала армии, чего прежде был удостоен лишь Джордж Вашингтон (№ 1). С 1921 г., до времени своей отставки в 1924 г., он был начальником штаба армии. Затем «Черный Джек» был председателем Американской комиссии по военным памятникам, а также писал мемуары.