潘茂名（290年—371年），晋永嘉（307—313）末处士，今高州人，世居根子浮山下，即今高州之潘村，治《易》明《诗》。一日入山，遇老人对弈，旁睨良久。老者曰：“孺子颇解此耶”？对曰：“入由蛇窦，出似雁行”。老者异之，劝令学道，授以长生夜视之术。从此，潘茂名便在这里“朝汲泉于此山，暮洗术于鉴水，采丹田之芝，煮白石之髓，嚼瑶笋之芽，餐碧奈之蕊，勤洗伐而脱尘凡，取精华而去渣滓”，终于炼成大还丹和小还丹，用此神效丹药，在粤西一带特别是高雷地方救治百姓，扑灭了瘟疫。高州有多处庙宇供奉潘仙，茂名的地名也因之而来。

传说，西晋末，在今高州一带有位道士潘茂名，他学易明诗，治病救人，后得道成仙，于西山（今观山）驾石船飞升仙游而去。后来，人们为了纪念他，把他活动过的地方叫茂名。历史上的潘州、茂名县，今天茂名市名的由来，无不与之陈陈相因。