青少年时期 在《五轮书》中，武藏自述在13岁初次决斗战胜了“新当流”的有马喜兵卫，16岁击败但马国刚强的兵法家秋山。

庆长5年（1600年）宫本武藏自称隶属于宇喜多秀家的新免氏武士，以西军身份参加了关原之战；然而从黑田家之文书（《庆长7年・同9年黑田藩分限帖》）记载着武藏父亲新免无二在关原之战以前是在东军的黑田家仕官，因此在关原之战中武藏也很有可能同父亲一起侍奉当时丰臣家的黑田孝高，在九州作战。 [3]

剑客时期 武藏自述从13岁到29岁，决斗60余次，没有一次失手。关原战后，流浪步行全日本数年，接受各地武士挑战也练武，当时德川幕府也派出特务柳生父子与抓牙的追击

《五轮书》记载，武藏“21岁赴京都，与天下之兵法家交手数次，没有一次不成功的”。从天正12年（1584年）武藏出生推算的话，赴京应是庆长9年（1604年）。在‘新免武藏玄信二天居士碑’（小仓碑文）记载“扶桑第一之兵术吉冈”，应是指吉冈流一门。武蔵与吉冈兄弟决斗的故事，在各文艺作品间广传至今。武藏一系的传人对这段对决的记载虽然彼此有些出入，但大致都说武藏先战胜门主吉冈清十郎、再击杀其弟传七郎，最后面对吉冈全员围剿，仍然在斩杀了吉冈的少主后全身而退，吉冈一门也因此断绝。然而非武藏系的文献，从与武藏比试的人究竟是谁、到究竟比了几场，都有不同的记载。比试的结果，也有双方平手，或是初战平手、再约战时武藏没有赴约(吉冈不战而胜)等不同说法。吉冈本有经营染料的副业，也有史料称吉冈一门只是在政争失利后转而专营染料生意，并直到明治时代都享有商誉。

庆长10年(1605年)，武藏与奈良奥藏院的枪法高手比试。奥藏院传承了知名的宝藏院枪术。是战，武藏虽占上风，但最后未分胜负双方就停手罢斗。这在武藏三十岁前的决斗中是很罕见的。和年轻时期的武藏交手的人，几乎非死即伤。小说故事中武藏得益于宝藏院胤荣的指导，并与胤荣的弟子胤舜决斗，为小说创作。胤舜名义上为胤荣的弟子，实为再传弟子，当时年纪还小。

庆长11年(1606年)，武藏于伊贺与锁镰名家宍戸(名不详)决斗，武藏以二刀流应战，最后掷出左手的短刀刺入宍戸的胸口，击杀对手获胜。

庆长13年前后，武藏前往江户。13年，两名柳生新阴流的剑客，大瀬戸隼人与辻风左马助，向武藏挑战，结果一死一伤。

庆长13年到17年之间，武藏于江户与后来被称为梦想权之助的高手比试，并获得胜利。[4]权之助因此前往宝满山的灶门神社苦练，最后在梦中得到神明的启示，放弃本来惯用的刀剑，改练杖术，并创立了神道梦想流杖术。另有权之助败给武藏之后，向武藏拜师求艺的记载。也有传说梦想权之助改练杖术、武功大进后，再次向武藏提出挑战，并战成平手。神道梦想流门人则流传权之助再次挑战武藏时，得到神明的帮助，击败了武藏。

岩流岛决斗 武藏的事迹中，最广为人知的莫过于“岩流岛决斗”，也就是庆长17年在长门国（今本州山口县下关市）的舟岛（浮在关门海峡上的岩流岛），与岩流的兵法家佐佐木小次郎对决的故事。尽管不知道这位岩流的兵法家是否真的姓“佐佐木”、名“小次郎”，随着第三方记载的发现，至少这场决斗的真实性和宫本武藏的胜利已经没有太大异议。然而除了宫本武藏曾于舟岛，今岩流岛，战胜一名岩流的兵法家之外，其余细节众说纷纭，且充满了谜团。首先，不论由武藏传人的记述或旁人的记载来看，这一战都名动一时，武藏自身的论著不知为何却只字不提。其次，不论决斗的起因，武藏对手的姓、名、出身背景，决斗的经过等等，各种资料颇有歧异。岩流的兵法家之死，也有被武藏一招击杀，和武藏打倒对手后未下杀手、随行的弟子却在武藏要离去时擅自上前将对方杀死等不同记载。就连武藏使用的兵器也有数种说法：一把较寻常刀剑更为巨大的船桨型木刀、或者一把前端钉了钉子的木刀、或是普通型制的一长一短两把木刀等等，共通点大概只有虽是约定真剑比武，武藏却选用木刀与对手的真剑决斗并获致胜利。据载，宫本自划船至决战点后，在躲过佐佐木挥刀后，竟用船桨回击，宫本强大臂力，持厚浆竟拍碎佐佐额，定出胜负