岑山书院创办于北宋大观年间(公元1107年至1110年)岑山脚下儒林街,当时称义学或察院,明洪武二年(公元1369年)迁建于岑山半腰原宝峰寺旧址,明朝嘉靖二十四年(公元1545年)毁于燹,万历十五年(公元1587年)重建。到清朝乾隆辛酉年(公元1741年)春,改名为岑山书院。历代均有修缮,现为省级文物重点保护单位。
岑山书院为明清两代的县学,民国年间改为高等学堂,县教谕、训导设于内。明清时期的石文绣、王希曾、李銮宣等在此读书,共培养出石文绣、王希曾、李锡书、姚士林、 李銮宣等10名进士。后来成为当时国家的栋梁。中共早期创始人、政治活动家高君宇也曾就读于此。是抗大七分校校址,贺龙元帅曾在此指挥军民抗战,新中国建立后,原岑山书院旧址先后改建为静乐师范、静乐一中、静乐三中,培养出大批人才。
80年代以来,岑山书院多次进行了保护性维修,并逐步复建了儒门、棂星门、仪门等多处建筑,并邀请当代著名书法家、全国政协委员、中国书法家协会顾问欧阳中石先生亲笔题写了“岑山书院”院名。2010年11月通山公路竣工;2007年到2010年景区内分期进行了全面绿化;书院大门前塑高君宇铜像一尊。目前为省级党史教育基地和省级社科联培训教育基地以及市、县爱国主义教育基地等。