元山寺所处的地理位置和古代碣石卫的历史息息相关，它是古代粤东海防的军事指挥中枢，历经明、清两代，数百年间，沧海桑田，大量珍贵寺藏文物和不可移动文化记载着中华民族特别是广东沿海人民抗击外来侵略、保家卫国的辉煌史绩。

碣石设卫之后，元山寺便是朝廷钦差、官员和名人贤达到这里防务、聚会、游览、观光、朝山瞻奉之地。至今仍保留着许多历代名人留下的摩崖碑刻、题匾。这是民族英雄林则徐的题匾《水德灵长》；光绪年间碣石镇总兵刘永福的题匾《灵声满道》；同治皇帝的御赐匾额《威宣岭表》和“诏书”以及其它提督、总兵和名人贤达等题匾多面，其中林则徐和刘永福的题匾被列为中华名匾。这些不可多得得珍贵文化均具有高度的历史、艺术、科研价值，同时也证明了碣石卫海防地理位置的重要性和玄武山元山寺的宗教信仰地位。

戏台始建于明万历年间，1986年重建。造型古朴，气势雄伟。各种木雕石刻，人物花鸟栩栩如生，千姿百态，是一座工艺精致的明代建筑。开始时演海陆丰正字戏《三国演义》等连本大戏，每年从农历三月初开始连演一个多月，农历九月初又再连演。如今每到正月，都会有广东潮剧院排演的大戏在这一上演数日，好戏连台，人们都会搭起蓬布，风雨无阻，盛况空前。

古戏台，元山寺和福星垒塔沿着中轴线递高而建。福星垒塔拔地参天屹立于玄武山的最高处，冒于古榕浓荫之间，历来为船舶进入碣石港的导航标志，人们登塔远眺南海，帆影点点历历在目，素有陆丰八景“碣石观海”之称。福星垒塔始建于明万历年间，1981年重建。在福星垒塔的东侧有一块庞然大石，其雄姿昂扬，俨然麒麟，因此得名麒麟石。在石上有清光绪十六年镇碣使者邓万林题写的“山不在高”，这句话对玄武山来说是名副其实。这块矗立在起龙岩前的龙门石，经久风化，形态苍老斑斓，专家鉴证为十万年前的产物。