尺八最初来源于唐代的中国。当时日本同中国建立了外交关系，并从中国接受了佛教、汉字以及几种不同的艺术形式。日本雅乐也在这个时代出现，其乐队编制包括尺八、琵琶和日本筝。但在十一世纪末，尺八被从雅乐团中去掉。据说，十世纪的时候，中国僧人受邀到日本向当地僧人传授尺八。他们发现，这件深奥的乐器可以帮助年轻僧人练习冥想所需要的呼吸技巧。在十三世纪的时候，僧人们以诵经替代了尺八。虽然尺八从雅乐团中消失，贵族和僧人们仍在演奏它，猿乐（能乐的前身）表演中也使用尺八。那时的尺八叫做一節切。雅乐团里使用的尺八为六孔，而一節切为五孔。