东汉之后，南北匈奴分裂，北匈奴遭受灭顶之厄，向大漠深处逃窜。南匈奴则南迁，以合法身份进入东汉，与汉族百姓混居，其中今忻州市特别是沿汾河居住的大多是北部匈奴。西晋初年，中原出现了短暂的安定局面，大量的匈奴人向今山西集中。同时，乌桓、鲜卑、西羌等也紧随匈奴进入中原。

不久，由西晋皇族内讧引发了“八王之乱”，从此天下大乱，汉族和南迁少数民族共同经历了这场灾难，遭受了涂炭，有人形容这时的老百姓“做人不如做鬼”。许多汉族士人便远迁他乡，进入风光秀美、安定有序的长江流域，东晋政府采取侨置的方式对他们进行了安置，如在今湖北的江陵设置新兴郡，统县定襄和广牧，安置来自北方新兴郡（治所在今忻州市）包括今静乐县的居民。贫困的汉人则不是在战乱中被掠杀，就是在饿冻中倒毙而亡，致使包括今静乐县在内的北方地区汉族人口大量减少。到了北朝时期，竟出现了少数民族人口占比大于汉人，汉族竟成为少数民族的状况。到了北魏时，山胡人数最多，他们原本居住在吕梁山区，时不时跨过黄河骚扰今岚县、静乐等地方，秀容城、三堆城大受其害。除了山胡，位于秀容川的契胡尔朱氏也开始强盛起来。到了北朝末期，稽胡又开始叛乱……静乐县在当时可谓是胡人的天下，汉人其实很少。

但后来为什么汉人又越来越多，胡人却逐渐稀少了呢？这一方面是民族融合的结果，胡汉通过结婚生子，三代以后就区分不出胡人和汉人了。另外，胡人毕竟是游牧民族，流动性大，觉得这个地方不适合住，马上就又离开了。最悲惨的就是北齐时，高洋政权颁布了“杀胡令”，对胡人等进行残酷地屠杀，凡是高鼻子、蓝眼睛的胡人“男子十二（岁）以上皆斩”，从此胡人势力逐渐衰弱，四处避难的汉族民户纷纷进入这一地区，今静乐又成了汉人的天下了。当然，这时的汉人已不纯粹是西汉年间汾阳县时的汉民了，大多是民族融合后的汉人了。