Находясь в провинции Ига, Мусаси встретил воина по имени Сисидо Байкин, который в совершенстве владел цепью и серпом. Пока Сисидо размахивал своей цепью, стараясь улучить момент, чтобы ударить Мусаси, тот выхватил кинжал, сделал резкий выпад вперед и пронзил грудь противника. Наблюдавшие за поединком ученики Сисидо бросились на Мусаси, но он обратил их в бегство, виртуозно размахивая двумя мечами в четырех направлениях.
В Эдо воин по имени Мусо Гоносукэ пришел к Мусаси, чтобы вызвать его на поединок. В это время Мусаси был занят изготовлением лука, но тут же принял вызов и, подняв свой недоделанный лук, показал гостю, что готов использовать его в качестве меча. Гоносукэ с настоящим мечом в руках сделал стремительный выпад в сторону Мусаси, но тот уклонился и ударил его по голове своей легкой палкой. Гоносукэ испугался и убежал.
Однако не все встречи Мусаси с мастерами боевых искусств заканчивались поединками. Говорят, что однажды Мусаси встретил на улице известного самурая Ягю Хего, племянника не менее знаменитого Ягю Тадзима-но-ками. Хотя Мусаси и Хего до этого ни разу не виделись, они сразу же узнали друг друга и после короткого разговора стали друзьями. Хего пригласил Мусаси в свое имение, где они пили сакэ и играли в
Позже, странствуя в провинции Идзумо, которая всегда славилась мастерами боевых искусств, Мусаси обратился к господину Мацудайра с просьбой разрешить ему поединок с самым сильным из его слуг. Было решено, что против Мусаси выйдет человек с двухметровым деревянным шестом. Мусаси использовал два деревянных меча. Поединок проходил в саду библиотеки господина Мацудайра. Мусаси загнал противника на ступени веранды, подался вперед, угрожая нанести ему удар в лицо, и, когда тот принял защитную стойку, ударил его одновременно по обеим рукам. Тот выронил свой шест.
К удивлению собравшихся, господин Мацудайра тоже вызвал Мусаси на поединок. Мусаси стал оттеснять его в сторону тех же ступеней, на которых только что победил предыдущего соперника. Господин Мацудайра яростно пытался сдержать натиск, но Мусаси неожиданно сломал его меч пополам «ударом огня и камней». Господин поклонился Мусаси, признав свое поражение, и после этого Мусаси некоторое время гостил у него на правах учителя.
Но самая известная дуэль с участием Мусаси состоялась в 1612 году, когда он находился в городе Огура в провинции Бундзэн. Его противником был Сасаки Кодзиро, молодой воин, создавший сильную фехтовальную технику
Накануне поединка Мусаси покинул свое временное жилище и переехал в дом Кабаяси Таро Дзаэмона. По городу распространились слухи, что Мусаси боится утонченной техники Кодзиро и собирается бежать из города. На следующий день в восемь часов Мусаси спал так крепко, что хозяин дома не мог его разбудить, пока не пришли официальные представители от господ, собравшихся на острове. Тогда Мусаси встал, выпил воду, которую ему принесли, чтобы он умылся, отправился прямо на берег и сел в лодку. Сато Окинага, работая веслами, направил лодку в сторону острова. Тем временем Мусаси, подвязав рукава кимоно бумажными веревочками, принялся вырезать деревянный меч из запасного весла, которое было в лодке. Закончив вырезать меч, он улегся на дне лодки, чтобы отдохнуть.