早在春秋时代，芝罘岛就是著名的地方。

齐景公曾来此游览，欣赏这里的景色；山巅有齐康公的坟墓；秦皇汉武都登临过芝罘，那时这座“与大陆握手的岛屿”，已经显露出它的独特魅力了。
汉晋时代成为我国北方最大口岸；
唐以后芝罘一直属于我国重要海口；烟台开埠以后芝罘与海外的交往更加频繁。难怪有些外国人至今只知有芝罘而不知有烟台了。

芝罘，在我国历史上是个有名的地方。据《史记》记载，秦始皇于公元前221年统一中国后，曾三次东巡，三次登芝罘，在这里留下许多珍贵的史料。
秦始皇第一次东巡在公元前219年，他沿着渤海湾东行，“过黄、腄，穷成山，登之罘”。
次年，第二次东巡，令大臣在芝罘岛刻石，颂扬自己的政绩。碑文写道：“维二十九年，时在中春，阳和方起。皇帝东游，巡登之罘，临照于海。从臣嘉观，原念休烈，追诵本始。大圣作治，建定法度，显箸纲纪。外教诸侯，光施文惠，明以义理。六国回辟，贪戾无厌，虐杀不已。皇帝哀众，遂发讨师，奋扬武德。义诛信行，威燀旁达，莫不宾服。烹灭彊暴，振救黔首，周定四极。普施明法，经纬天下，永为仪则。大矣哉！宇县之中，承顺圣意。群臣诵功，请刻于石，表垂于常式。其东观曰：维二十九年，皇帝春游，览省远方。逮于海隅，遂登之罘，昭临朝阳。观望广丽，从臣咸念，原道至明。圣法初兴，清理疆内，外诛暴彊。武威旁畅，振动四极，禽灭六王。阐并天下，甾害绝息，永偃戎兵。皇帝明德，经理宇内，视听不怠。作立大义，昭设备器，咸有章旗。职臣遵分，各知所行，事无嫌疑。黔首改化，远迩同度，临古绝尤。常职既定，後嗣循业，长承圣治。群臣嘉德，祗诵圣烈，请刻之罘。”

秦始皇第三次登临芝罘，不像前两次那样东巡秦朝游，而是寻求长生不老之药。还在他第一次东巡时，碰上一个叫徐巿（音福）的方士，诓他说海中有蓬莱、瀛州、方丈三座仙山，山上生长不老长寿之药。于是秦始皇就“遣徐巿发童男女数千人，入海求仙人”。8年过去了，徐巿从秦始皇那进而骗取了许多钱财，却什么仙药灵丹也没找到。在秦始皇第三次东巡时，徐巿怕秦始皇追究，就撒谎道：海中有鲛鱼，其体甚居，船无法出海寻找仙山。秦始皇仍十分相信，求药心切，梦想长生之术。于是，便亲设连弩，追求大鲛鱼，从琅玡、经成山，来到芝罘，终于“见巨鱼，射杀一鱼”。清代谢景谟在《吊始皇芝罘射鱼》一诗中，对当时的场景作了这样的描写：……钲铙一震山灵动，精骑四绕列熊罴，强弩况响苍岩里，劈破黄卫羽箭驰，却制长鲸如白小，威行水国倍神怡。……
可见当时场面十分气派。然而，历史总是公正在的，秦始皇——这个中国历史上有名的专横暴君，不仅没有寻求到什么长生不老之药，自己的性命也正丧于芝罘归咸阳途中。这种结果不能不说是极具讽刺意味的。
秦始皇周游天下时，曾建庙祀八生，即天主、地主、兵主、阴主、阳主、月主、日主和四时主。其中三座庙在胶东：日主庙在荣成成山头，月主庙在黄县的莱山，阳主庙就在芝罘岛的阳坡之上。可惜岁月流逝，江山依旧，暴君早死，庙宇何存？
1975年，在一段残存的土墙近旁出土了两组青玉器，每组各为一璧、一圭、一觿。可能是当时的故物了。