武士的雏形是在日本平安时代律令制下产生的武官，最初日本桓武天皇为了巩固政权而设立。在平安时代以前，除了奴隶，所有的自由人男子都有责任和义务成为被天皇募兵的对象。

然而这些士兵必须自行补给和养活自己，很多人因此不能回到自己的家乡，而是选择在当地定居。人们可以通过交重税来免除兵役，这种主要由农民组成的士兵在日本统称为防人。由于防人士兵的不正规，且又给农民带来了巨大的负担，在平安时代初期被桓武天皇所废止。这种形式的士兵并不是真正意义上的武士。

在平安时代早期（8世纪末—9世纪初），桓武天皇想要在北本州岛巩固和扩张自己的统治范围。天皇对本州北部虾夷人派出的北伐军缺乏士气和纪律，很难在战场上取胜。于是桓武天皇开始向地方世家豪族求助，提出将授予征夷大将军的称号给任何替代自己讨伐北本州的地方势力。这些弓马娴熟的世家豪族很快成为了天皇用来剿灭反抗力量的工具。为了应付征战，军人不再是所有人都能胜任的，完全的专职军人–武士制度，也开始流行于日本国内。另一起源是守卫领主庄园的郎党与臣籍降下的王子。

12世纪末，武士首领源赖朝出任“征夷大将军”，创立幕府，统帅天下军政，标志着武士时代的来临。尔后的军事领袖多半袭用“征夷大将军”之官位，实施统治。由1192年开始，大部分幕府势力握有日本实际政权，直到1868年明治维新，江户幕府奉还政权给天皇为止。之后武士被降格为士族，实际上相当于所谓的下级贵族。

日本武士理论上必须是文武双全的人，除了要擅长日本剑术、马术、射箭等武艺，也须读书、习汉文、练书法、做文章；尤其兵法、韬略更是所须精通。品行、操守、勇气也都是被评鉴的范围，武士的道德被称为武士道。武士小学年纪就需现场参观死刑的执行，甚至上战场作战，日本战国时代，失去君主的武士会变成浪人。

在20世纪，宫本武藏成为世界家喻户晓的日本武士代表人物；一部分日本电影导演如黑泽明和五社英雄等为诠释日本武士电影最佳代表人。