Джеймс Миллер начал свою карьеру солдатом и одновременно — профессиональным бойцом. По армейской карьерной лестнице он поднялся до звания капитана и хорошо послужил в 1745 году в Шотландии герцогу Камберлендскому. Это был, очевидно, образованный человек, поскольку оставил после себя симпатичный альбом с рисунками гладиаторов, который и натолкнул мистера Анджело на мысль о великолепном труде последнего, который был опубликован лет на тридцать пять позже. Годфри пишет о Миллере: «Мистер Миллер был джентльменом среди бойцов. На сцене его выступления представляли собой прекрасное зрелище, а его поведение не могло не вызывать симпатии. Его движения были так легки, поведение так непосредственно, а улыбка так притягательна, что невозможно было не стать предвзятым в его пользу».
В «Наблюдателе» приводится интересное описание боя между Миллером и неким Тимоти Баком, которого Годфри описывает как «вполне основательного мастера».
В выпуске «Наблюдателя» от 21 июля 1712 года Стил рассказывает: «Неутомимое любопытство завело меня в прошлую среду в широко известное среди храбрецов из низших классов британского общества заведение — «Медвежий сад», что в Хокли-в-Дыре. Как я узнал из листовки, отпечатанной на коричневатой бумаге, там в два часа должно было состояться соревнование в мастерстве между двумя мастерами благородной науки фехтования. Торжественность вызова меня просто очаровала:
«Я, Джеймс Миллер, сержант, недавно прибывший с португальской границы, мастер благородной науки фехтования, во многих местах, где мне довелось побывать,
слышал славное имя Тимоти Бака из Лондона, мастера вышеупомянутой науки, и приглашаю его встретиться со мной и сразиться на следующем оружии:
Сабля
Шпага и кинжал
Меч и баклер
Одиночный фальчион
Парный фальчион
Шест».
Если пыл Джеймса Миллера в оспаривании репутации Тимоти Бака несколько напоминает стиль романтических героев древности, то ответ Тимоти Бака, приведенный в той же листовке, хоть и схож по форме, но несет на себе отпечаток раздражения фактом вызова и оттенок снисходительности к бою с Джеймсом Миллером — не к самому Миллеру, а к тому факту, что тот успел сразиться с Паркесом из Ковентри. Выглядел ответ так:
«Я, Тимоти Бак из Клер-Маркет, мастер благородной науки фехтования, прослышав, что мой предполагаемый противник провел бой с мистером Паркесом из Ковентри, не могу, с позволения Господня, отказаться от встречи с таким соперником в назначенное время в назначенном месте, для честного боя».
Бой «проходил в строгом порядке. Сначала появился Джеймс Миллер, перед которым шли два инвалида-барабанщика, видимо для того, чтобы показать, что боец не боится увечий. Вместе с Миллером на сцену вышел некий джентльмен, чьего имени я не расслышал, но который явно был недоволен тем, что бьется сегодня не он. На правой руке у Миллера была повязана голубая лента.
Рост Миллера — шесть футов восемь дюймов, выглядит он добрым, но храбрым, модно одет, бодр и подтянут — видна военная выправка.