湖光岩原先叫做“陷湖”，大概源于白牛传说的“天崩地陷”。后来又称为“镜湖”，说的是清澈明净得象一面镜子。再后又称作“净湖”，不仅因为水质纯净，还因为佛家弟子借以宣扬清心寡欲、远离尘嚣的教义。

直到宋建炎三年，宋丞相李纲被贬海南而至雷州，因李纲受湖光岩"楞严寺"当时的长老释琮之邀（两人既是福建同乡，又是京师同窗）到湖光岩一游。

当晚，明月悬空，秋高气爽，两人在岩崖上促膝而谈。这时，湖面上折射的月光映照在狮子岭的峭壁上，展现出一幅美丽的水光山色风景画。

李纲的心情非常开朗，把被贬的内忧外患全抛脑后，欣然提笔写下"湖光岩"三个大字，沿用至今，已有800年历史。