黃山歷史悠久，遠在六、七千年前，即公元前51世紀，我國母系氏族社會的后期，人類就已經在這片美麗富饒的山區勞動生息了。在距今三、四千年的殷商時期，這里就居住著一支叫山越的先民。山越乃百越中的一支。在春秋戰國時期，這里先屬吳，吳亡屬越，越亡屬楚。秦始皇統一六國之后，實行郡縣制，這里為會稽郡屬地。南朝時開始設置新安郡，郡府搬遷又始終未離開新安江上游，徽州古稱新安，其源蓋出于此。宋代徽宗宣和三年五月廿四日（公元1121年），歙州被詔改為徽州。關于徽州名稱的起源，一說因其境內有徽嶺、徽水、大徽村等，州則因地得名；另一說趙宋王朝是取“徽者、美善也”之意，炫耀他對這一地區的失而復得。此二說并存了八百多年，州名亦被歷代沿用至今，清康熙六年（公元1667年）建省的時候，就是摘取安慶、徽州二府首字作為省名的。
徽派文化底蘊豐富，內涵深廣，是我國三大區域文化（藏學、敦煌學、徽學）之一，涵蓋了哲、經、史、醫、科、藝諸多領域。黃山市位于皖浙贛三省結合部，群山環抱之中，古代徽州歷來有“山深不偏遠，地少士商多”之說。每當中原戰亂之秋，這里就成了藏龍臥虎之地，它既是亂世的世外桃源，又是治世的人才寶庫。古徽州文風昌盛，教育發達，“十家之村，不廢誦讀”，因此歷史上以才入仕、以文垂世者，代不乏人，燦若繁星。《辭海》的單列條目中，徽州名人有50多人，列全國各州府之首。據不完全統計，明清兩代中進士542人，舉人多達1513人，
“連科三殿撰，十里四翰林”、“父子宰相”、“四世一品”者并不鮮見。明清時代徽商稱雄商界長達二、三百年，有“無徽不成鎮”之說。徽商賈而好儒，“官、賈、儒”三位一體，形成了獨具特色的徽州文化，歷史上各種人才應運而生，學術研究異彩紛呈。例如，活字印刷術創始人畢升，宋代理學集大成者朱熹，明清三朝元老、軍機大臣許國（歷仕明嘉靖、隆慶、萬歷）、曹振鏞（歷仕清乾隆、嘉慶、道光），富可敵國的大鹽商鮑漱芳，著名戲劇家汪道昆，醫學家汪機、汪昂，徽墨、歙硯高手李廷、李少微，新安畫派的創立者和近代著名代表漸江、黃賓虹，哲學家戴震，理財家王茂蔭（馬克思《資本論》中提到的唯一中國人），珠算大師程大位，近代教育家、學者有陶行知、胡適，音樂家張曙，還有工程技術專家詹天佑、鄭復光，孫中山元帥府秘書長、近代法學家徐謙等，都是徽州人。同時，由徽商興盛而形成了新安理學、新安醫學、新安畫派、徽派盆景、徽墨歙硯、徽派建筑、徽雕、徽刻、徽劇、徽菜等獨具地方特色的文化流派。現已發現地面文物4900多處，其中列入國家和省級重點保護的45處。直至今日，黃山大地上仍遍布古橋、古塔、古亭閣、古宗祠、古牌坊，猶如一座天然的歷史大博物館。