黃山在其峰林結構形成之前，經歷了造山運動和地殼隆升，以及冰川和自然風化。
黃山共有72座山峰，素有“三十六峰，三十六小峰”之稱。主峰蓮花峰海拔高達1864.8米，與光明頂、天都峰並稱黃山三大主峰，為36大主峰之壹。
黃山以燕山期花崗巖為主，垂直節理發育，侵蝕切割強烈，裂隙交錯，長期水蝕，形成花崗巖洞穴和通道。
整座山有30個山脊，22個巖石，7個洞穴和2個通道。黃山第四紀冰川遺跡主要分布在千山東南部。
黃山地處亞熱帶季風氣候區，地處中亞熱帶北緣，常綠闊葉林和紅壤黃壤地帶。由於高山深谷，氣候垂直變化。
同時，由於北坡和南坡輻射差異較大，當地地形對其氣候起主導作用，形成了多雲多濕多降水的氣候特征，接近海洋性氣候。
夏天沒有酷暑，冬天也很少寒冷，四季平均溫差只有20℃左右。夏季最高氣溫27℃，冬季最低氣溫-22℃，年平均氣溫7.8℃，夏季平均氣溫25℃，冬季平均氣溫0℃以上。
年平均降雨天數183天，多在4-6月，山上年降水量2395毫米，西南風和西北風出現頻率較高，年平均降雪量49天。