秦山岛的历史，最早可追述至东夷部落的少昊之国，是古羽山（即今云台山，古时为海中群岛，其原始居民，史有羽夷、郁夷、岛夷、朐夷诸称谓）的组成部分，以农牧为主、渔猎为辅的夷昊人，以山形称此岛为“奶奶山”，或传说系颛顼大帝抛神琴于此而称“琴山”。从出土的古陶来看，最迟在西周已有人居住，到了秦初，赣榆县方士徐福，为秦山岛的开发、宣传直至成名，起到了“开山祖”作用。因为他，秦始皇才相信“海上有仙山”“似在飘渺间”，三次东巡皆到朐界，登上了秦山，并立石为秦东门，岛名由此称“秦山”。又命丞相李斯督建“碧霞宫”、“授珠台”、“海神庙”、“龙女亭”，还立碑以祀。该碑几次被南方人偷窃时，皆被渔民发现，后来实在无法，为防偷窃，据说将其沉入海中。久无踪。汉时维持秦之遗存，唐朝佛教盛行，岛上建有观音殿、通天塔、大佛寺等，形成佛道共存一岛之格局；宋金元时毁于战火，明清逐步复建，规制已大不如前，后来日本侵略者不仅毁坏建筑，掠夺文物，还以此岛为据点，侵扰我沿海居民，至民国时，仅有渔民为佑出海平安筹资建的“天后宫”（即原碧霞宫）、“李斯碑亭”等。