《八闽通志》记载：“高望山旧名望高峰，在九仙山之西，何岭之上。”《仙游县志》记载：“望夫塔位于榜头镇南溪村高望山主峰。为唐代僧契行所建。”高望山因有古迹望夫塔，当地人称为塔山。高望山海拔857米，南麓有条紫溪（即仙水溪上游），溪中有深潭，溪畔有温泉。主峰西南侧山势逶迤下降，半山腰处突起双髻峰——耸立二笏石高数丈，篆曰“天柱”，亦称“牙笏朝天”。登山路上巨岩奇石林立，尤其是一风动石，只能按指定部位去推才能动起来。另一巨石浮雕一戴官帽人像，称之“石相公”，传说是皇帝赐封的“石浮阁”。此外，还有银宝石、弥勒石、将军背印石、猴子抱瓜石等。主峰下有口石龙泉，一泓碧水永不干涸。而山上天然石洞众多，洞里冬暖夏凉。其中有一清幽仙洞，涧水击石，水花如珠似玉。洞内奉祀周先师，清乾隆年间，士人陈学洙、陈书钦在洞旁扩建成佛祖殿，亦称凌烟洞，已成游览胜迹。

    此山主峰之巅早有古刹，名凤天寺，历经沧桑屡建屡废，最后一次毁于二百年前。20世纪80年代末，当地民众集资百万，重建望夫塔和寺，历时13年方成。如今，该寺有舍18间，供奉观音菩萨、石相公、塔山夫人和张公三圣等神像，香火旺盛，1991年被列为县级文物保护单位。当地还保存着唐代浮雕石刻：“恭祝今上皇帝”、宋代石槽、明代古塞门及仙人台遗迹等。