1905年，进士、歙县人许承尧创办新安中学堂，附设师范科，次年单设为徽州府紫阳师范学堂。
1913年改名省立五师(后称二师)，校长胡晋接，校址迁休宁万安。
1934年，在歙县改建省立徽师，校长江植棠。解放后，王世杰为首任校长。
1952年，省政府落实周总理"要在黄山脚下办好一所师范学校"的指示，拨款在现校址兴建新校舍。
1968年被迫停办。
1978年复校。
1999年起挂靠黄山高专、黄山学院办学。
2000年，市委、市政府成立"徽州初等师范学院"筹建工作领导组。
2001年，市政府撤消黄山市教师进修学校，成建制并入徽师;向省政府申办"徽州初师院"。
2005年10月举办建校百年庆典。2005年12月，省教育厅下达《关于同意组建黄山学院初等教育学院的批复》;次年4月举行黄山学院初等教育学院挂牌仪式。
2012年，经省发展规划处同意，挂靠合肥师范学院办学。
安徽省徽州师范学校(黄山学院初等教育学院)坐落在黄山脚下的国家历史文化名城--歙县县城，是一所以培育初等教育师资为主的学校，是黄山市乃至皖南地区小学教师的摇篮，也是黄山市中小学教师继续教育基地，黄山市教育干部培训基地。
