石鼓山有许多美丽的传说。其一，余少保举义反元的故事：“石鸡 大石鼓峰顶叫，石狗咬，石船下水顺河跑”，“石鼓响，顺帝亡，石鼓不响，再折锦囊”说的是元朝末期，余少保因不满元朝腐败统治，决定举义。余少保举义之时，得到一位仙人指点，给了它一封锦囊，承诺给他十万精兵助阵，灭元兴汉。八月十五日的晚上，余少保沐浴净身，待子时鸡鸣时，对正北方射出三支利箭，即可大功告成，但因其妻心窄，唯恐丈夫登基另选后妃，不到时辰就溜至后院学公鸡叫。余少保忽听鸡叫，忙中未分真假，张弓朝正北方向连射三箭。因时辰未到，元顺帝未临早朝，三支箭都射在龙椅背上了。顺帝临朝，发现龙椅三支箭上刻有“余少保”二字，即派大兵围剿。石鼓不响，余少保知大事不好，忙折开锦囊，只见上面写四句真言：“插旗尖上取神书，平顶铺下拔宝剑，唤出石人撑石船，金竹园里把兵搬。”他立即跑到插旗尖取神书，哪知神书悬在半空，难以到手。再到平顶铺下去拔剑，出鞘若许后再也抽不动了。余少保又急忙赶到石船，希望石人来撑船，哪知石人在山坡上刚刚出土还没拔出腿来，他只好自己跳到水中去推石船，石船只动了一点，可再也不动了。余少保又急忙赶到金竹园去搬兵，进园后不见动静，打开竹子一看，藏在竹节里的神兵胳膊腿长了可鼻子眼睛还没睁开呢！后来义军寡不敌众，终于失败了。但石船石鸡石人石鼓至今仍在，分布在鲇鱼山水库两岸的山丛之中，有兴趣的话可到石船去推推，看它动不动，或者还可尝试一下须用多大鼓锤，才能擂响石鼓。

传说之二，张果老得道成仙最后“毕业考试”也就在石鼓山女人街。所谓的女人街，就是傍山靠岸一条百米山道。传说张果老修练成功后，即将登天，吕洞宾怕张果老再犯自己“好色”的错误，在石鼓山女人街对张果老进行最后的考核，张果老登天上石鼓山，必经女人街，两个树精化成美女，站在路旁，以千姿媚态来勾引张果老，也不知张果老真正修练到家，或者是劳累过度，张果老倒骑毛驴，眼也没睁，顺利通过，从大石鼓上升天而去。至今半条街的悬崖还有当年树妖化成的两棵迎客松，伸出长臂，在微风中，向游人招手致意。去大石鼓可见石上的蚀洞，具说那是张果老和毛驴留下的足迹。