唐代国力强盛融合异族文化，广泛使用尺八、排箫等乐器。关于尺八的起源众说纷纭，据可靠的记载，为中国唐朝时代吕才所创。旧唐书吕才传：「能为尺八十二枚，尺八长短不同，各应律管，无不谐韵」。后随宗教传至日本，成为僧侣修行的法器，奈良正仓院珍藏有唐代六孔尺八数件。
宋代苏轼赤壁赋中所描写的箫声「如怨如慕，如泣如诉，馀音袅袅，不绝如缕…」，吹奏者为同游赤壁的绵竹道士，以其时代背景，所谓的箫极有可能就是尺八。明代以后受南方文人雅士影响，将吹口改为音量较小，“典雅柔和”的目前所见中国箫吹口，尺八因而失传。
尺八与佛教的关系密不可分，最初被用为虚无僧修禅的法器，德川家康庆长九年御定，除了虚无僧外，一般人禁止吹奏尺八，宝永年间虚无僧中，吹奏尺八的高人黑沢琴古，在全国各地行脚，广泛收集宗教曲，并自行创作虚无僧曲（现在的古典本曲），因此将尺八普及至全国。
