丹霞山自古已是佛道名山，古称烧木佛旧地。据说早于南北朝时期，已有道士在阳元山附近的混元洞、狮子岩修练；隋唐时期，则开始有佛教活动。现时丹霞山仍留有一些佛教和道教的建筑及遗迹，包括具千年历史的锦石岩寺、专供比丘尼清修之用的紫府洞天，以及清初时建成的别传寺。
因丹霞山山势陡峭险要，昔日成为人们躱避战祸或避世隐居之所。西汉时，汉武帝挥军南下，想把居于南方地区的百越族驱赶，而居于丹霞山的百越族，却乘地势之利，躱避山上，逃过一劫。如今，丹霞山仍留有超过一百座古山寨，号称「丹霞山一百零八寨」。其中阳元山山顶上的细美寨，三面临崖，通往寨门的山壁，修筑了一道狭窄石阶，名「九九天梯」，令寨门犹如一道关口，占有防守之利。而位处丹霞山最高处的巴寨，同样险要，通往寨门的唯一通道，是悬崖旁边一道长二十米、近乎垂直，仅容一人攀爬通过的天梯。寨门上设有枪眼，遇敌可即时发动攻击，只需一夫当关，经已万夫莫敌，可说是一座天然的军事堡垒。
此外，古人亦喜爱在山上清静，或特意前来专心读书。江头村居民叶传由、叶传分的祖先，便曾在天乙山上建寨辟室，一起读书，待考取功名以后，则在附近买下田地，建立家园。
因丹霞山山势陡峭险要，昔日成为人们躱避战祸或避世隐居之所。西汉时，汉武帝挥军南下，想把居于南方地区的百越族驱赶，而居于丹霞山的百越族，却乘地势之利，躱避山上，逃过一劫。如今，丹霞山仍留有超过一百座古山寨，号称「丹霞山一百零八寨」。其中阳元山山顶上的细美寨，三面临崖，通往寨门的山壁，修筑了一道狭窄石阶，名「九九天梯」，令寨门犹如一道关口，占有防守之利。而位处丹霞山最高处的巴寨，同样险要，通往寨门的唯一通道，是悬崖旁边一道长二十米、近乎垂直，仅容一人攀爬通过的天梯。寨门上设有枪眼，遇敌可即时发动攻击，只需一夫当关，经已万夫莫敌，可说是一座天然的军事堡垒。
此外，古人亦喜爱在山上清静，或特意前来专心读书。江头村居民叶传由、叶传分的祖先，便曾在天乙山上建寨辟室，一起读书，待考取功名以后，则在附近买下田地，建立家园。
