潘仙祠位于高州市区文明路冼太庙东侧，为纪念西晋时代岭南道教先驱者潘茂名而建。

潘茂名，潘州（今高州市）人，永嘉中入山，遇仙翁点化，授其长生不老之法。他按其仙翁指点，采药炼丹，救苦救难，最后乘坐石船飞升而去。潘茂名飞升仙去后，当地群众创建有10多座不同风格的纪念建筑，以志纪念。其中较有代表性的有：东山的东山寺，潘坡的潘仙亭，笔架山的潘仙亭，城西的仙易亭，观山的潘仙殿等。潘仙祠是潘茂名综合型的纪念建筑，原为潘仙亭，始建于明代天启元年（公元1621）。崇祯十年（公元1637），扩其亭为潘仙祠。

潘仙祠前殿外的空旷地上，有潘茂名的石船丹灶遗迹。在丹灶上部盖有一亭，称“炼丹亭”。石船丹灶遗迹与潘仙祠连成一体，形成一个统一的建筑群体。

“石船苍藓”、“潘坡丹灶”与潘仙祠，形成一个不可分割的统一建筑群体，是文化旅游的著名景点之一。明代高州知府孔镛曾为石船丹灶景点题诗曰：

共说丹砂可驻颜，仙翁何不久人间？

石船藓合年年在，丹灶云封日日闲。

亭宇已成新岁月，乾坤犹自旧江山。

我来欲间长生诀，辽鹤何时海上还？