我们的祖先和世界上的许多民族一样，经历了几十万年原始氏族公社的生活。氏族公社分为母系和父系两个阶段。我国地域广大，各地都发现有远古人们活动的遗迹，但其历史发展是不平衡的。各种类型的文化在每个历史阶段存在和延续的时间，有先有后，有长有短，有着错综复杂的关系。大致说来属于较早的新石器时代文化遗存有距今约六千年左右的长江流域河姆渡文化与黄河流域的裴李岗文化、大汶口文化、仰韶文化、马家窑文化。它们的音乐遗物证明，黄河、长江流域是中华民族音乐文化的最早发祥地。约五千年前，各个氏族部落先后进入氏族社会晚期，音乐文化有了显著的发展。属于这个时期的龙山文化、青龙泉三期文化、良渚文化遗址出土的原始乐器皆可为证。

先民们在漫长的原始社会中创造了原始音乐。从现存远古传说，可以看出音乐起源于劳动，并与巫术、原始舞蹈、诗歌溶为一体，为劳动实践和氏族集体的利益服务。我国古书所载“百兽率舞”与“奋五谷”等传说均说明它们与先民们的祭祀、狩猎、畜牧、耕种生活有关。各个文化遗存地区出土有原始乐器，如陶埙、用禽兽肢骨制成的“骨笛”、陶角、鼍鼓及陶铎等。

从公元前二十世纪的夏朝起，我国历史进入奴隶社会。

关于夏文化仍在探索中。夏以后的商（约前17—前11世纪）和西周（约前11世纪—前770年），已是文明灿烂的青铜文化的鼎盛时期。音乐达到了更高的水平，出现了《桑林》、《濩》（hú音户）、《裓》（jiè音节）、《大武》等乐舞，并有更多的乐器品种出现。此外还产生了多种音阶调式，创立了十二律，已经有了绝对音高、半音观念，对旋宫转调有了初步的认识，也兴办了一些音乐教育事业。