伏魔山历史悠久，开山于明代天启年间（公元1621——1627），距今已有近400年历史。建伏魔庵，开山始祖为尹明镇和尚，传受白虎之托儿开山。后为纪念开山祖，凿明镇和尚像于伏魔山石壁，有后人凿去石像不久石壁又显现石像，尤为神奇。今石壁仍有一尊石像清晰可见。伏魔庵遗址，位于伏魔山顶，面积400平方米，道光二十二年（1842）重建。山门有“云山独秀”四字。山门坐南向北，进山门后，沿石阶而上，东西山顶建有四合院建筑，由正殿、后殿、厢房组成，建筑面积200平方米，西面山顶建有两座小庙，均以山上块石就地取材砌成墙。

伏魔山海拔750米，比周围的山都要高，似高入云端，山清水秀，方圆百里，惟她独秀，故有云山独秀之美称。在伏魔山残缺的碑文上依稀可见：“有山焉，名伏魔，双溪绕膝，两柱擎天。脉由梵净传来，千山摇翠，万壑朝宗。下有良田百亩，桐茶千顷，其势蔚然。左联六转，其情若谒，莫甚于此。凡有过其都者，莫不羡焉……”。此山乃伏魔山，双溪即一为大鹏溪，一为外溪（即遥山沟）。两柱擎天是谓伏魔山金顶一分为二，山门就是连接两峰的桥梁，这与梵净山极为相似，说是微缩梵净山，小梵净山也不足为过，梵净山金顶海拔2400多米，气温低，土壤稀缺，植被很难生长；伏魔山金顶恰恰相反，比梵净山金顶更加生机勃勃。伏魔山海拔750米，气温适宜，土层厚，适于植被生长，原本葱葱郁郁，古木参天，无数奇花异草。半个世纪以来已被不法分子或砸或伐或挖或焚，现已破坏殆尽。

伏魔山开山立庙后屡有毁建，最后一次重建是清代道光二十二年（公元1842）夏天。今山门保存较为完好，山门上“云山独秀”四字依旧清晰如初。1950后土地改革，伏魔山僧人被迫还乡，原伏魔山寺庙所属天地尽归人民。70年代伏魔山下兴教育兴土木，遂上伏魔山拆庙伐树，后山下民众亦自发伐树，不足半年伏魔山已成秃山空山，伏魔山已成伏魔山千年古树毁于一旦。2009年伏魔山又遭遇毁灭性火灾，大火已烧至山顶，伏魔山历史上古木参天植被极为丰富，未曾遭遇火灾。2001年以来响应国家退耕还林，伏魔山下退耕还林数年成果亦毁于一旦。

伏魔山下大鹏溪村有三百多年的历史，大鹏溪从村子中间流淌，数百幢瓦房因地制宜依山而建，错落有致。有不少吊脚楼，还有数幢保存完好的明国时期四合院，古香古色，入村者无不称赞。近年随着村民在外务工致富，部分瓦房已被洋房取代。

2011年伏魔山（伏魔庵遗址）已被列入铜仁市第五批县级文物保护单位。因地处偏僻，伏魔山未曾得到实质性保护。如今伏魔山留给人们的只有记忆和遗憾，远在他乡的游子就是在网上看看伏魔山的照片也是一种奢望，因为没时间去造访伏魔山，而离伏魔山很近的人却又不屑于造访伏魔山。所以伏魔山只是传说中的伏魔山，没有人相信她真的存在。