据记载，黄岐山塔始建于明代，原来只有三层，清同治年间被雷击倒二层，民国二十三年（1934），县长谢鹤年重新修建并增至五层，塔尖原来建成一朵莲花，有一种说法是建成一个铜葫芦，解放后塔尖再次被雷电击毁，至今尚未修复。塔前一巨石上刻有谢鹤年修塔时所留下诗文。
这里还流传着一个动人的传说。古时，黄岐山后面马鞍山下，住着一个穷寡妇叫黄婶娘。黄婶娘养着一对异姓儿女，儿子名叫马山英，是她收养来的马家孤儿；女儿名叫黄山珍，是她自己的亲生儿女。黄婶娘历尽苦辛把儿女养育成人，马英山长得英雄俊伟，武艺高强，是个射猎能手；黄山珍则出落得水灵水秀，是个心灵手巧的美姑娘。
黄婶娘眼看儿女长大成人，心里头有了个打算。一天，她把儿女叫到跟前，说要为他们兄妹择吉成亲。山英兄妹听后，都欢喜得心头卟卟跳。这对两小无猜的异姓兄妹，从此更亲热得如胶似漆。每次山英上山射猎，山珍总要跟着同去；山珍下河洗衣，山英也就落河捕鱼捉鳖。只等母亲秋后择吉，就可洞房成亲。
谁料无端横祸平地起，这地方有个恶棍叫白崇豹，他姐夫在依帝高王帐下做将军，便狗仗人势，横行霸道，这一带的百姓恨他入骨，便给他起个恶名叫“白无天”。这天，“白无天”带着一群狗奴来到黄岐山游玩，猛见河边有个美如天仙的姑娘在洗衣，便上去拉拉扯扯，要姑娘跟他回家去享福。这姑娘正是黄山珍。她哥山英正在河边捕鱼，见这狗头如此可恶，立即冲上去对他捅了一拳，把他捅了个狗啃屎。众恶奴见主子被打倒，便围上来夹攻马山英。马鞍里的人—见，便拿槌擎棒冲上来打“白无天”。霎时，便把这伙恶棍打得抱头逃命。
“白无天”被众人打得鼻青脸肿，气得咬牙切齿，即时跑马去向他那位将军姐夫哭诉，向他借来五百人马，要把马鞍山踏成平地。马鞍山里的人得知这个凶讯，立即收拾衣物银钱，携儿带女翻过马鞍山逃难去。山英兄妹眼见众乡亲为着他们的事而受累，便请母亲跟着众人先走，他们兄妹要在后面为乡亲们作掩护。
众人刚离开，“白无天”就带着人马杀进马鞍山里。一看村里空无一人，便放起火来把个马鞍里烧为平地。随后命令众兵搜山追杀。山英兄妹眼看情势不好，恐众人被追上，便手拉着手直往黄歧山上跑，引动恶徒们来追，可让乡亲们脱险。果然，“白无天”看见了山英兄妹，立即随后紧追，并命令军士把黄岐山团团围住。
山英兄妹刚跑上山顶，猛见四方都已被包围，而且已快围到身边来了。兄妹为恐被掳受辱，便紧紧地搂在—起，纵身一跳，双双撞死在山下的大石上。
这时，正巧天上的赤脚大仙云游经过这里，他在云端看得一清二楚，便有心把这对善良恩爱的情侣救活。于是念咒作法，口吹仙气，兄妹俩立即翻了个身，变成一对白天鹅扑打着翅膀飞上了天空。