相传严子陵与刘秀曾是同窗至交。后者做了东汉开国皇帝后，便把严请到洛阳，优礼有加，殷勤款待。夜间，两人同在御榻上抵足而眠。严在熟睡中竟把脚搁在刘秀的肚皮上。次日，值班官员急奏，说夜观星象看到有颗客星冲犯帝座。这就是“客星”之名的由来。 客星山，突兀挺拔，山色葱茏。近山处，陈山古村，曲曲小河，芦苇苍苍，岚光水色，倒影如画。“身将客星隐，心与白云闲”（李白诗），当年严子陵，谢绝刘秀的再三挽留，弃富贵名利如敝履，隐居富春，死后归葬在故里陈山上，可谓“高山无古今，大江日东流，人物浪淘尽，英名至今留”。
陈山上，南瞰余姚，北览慈溪，晴烟铺锦，稻香万顷。山高石怪水泠泠，严子陵墓在陈山岭北侧下50米处。三尺孤丘，一堆黄土，让人顿发怀古思幽之情。墓四周，原有石羊、石虎，现已毁，今尚有明正德八年（1513年）所立“汉征士严光墓”碑石一块（现存慈溪市博物馆），镌“何处是汉家高土，此间有天子故人”联语的方形石柱两条。墓左边，南宋时建有“高阁”和“高节书院”，“高风千古成陈迹，惟有荒祠绕翠屏”，建筑物在历史的风雨中湮没了。1937年，乡人在客星山复建了高风亭，惜毁于“文革”期间，客星山上，还有石仲翁等历史陈迹，山下有严陵坞、华清泉。[1]
客星山北有大河，古称大浦（又称东江），属姚江支流，今名东横河。横河江上有一座石桥，叫客星桥，又称安山桥，桥建于宋淳熙七年，元、明时几经修建。清同治三年修成拱形桥，一孔，跨径8．5米，全长22．5米，宽3．6米，桥栏上有“客星古渡”四字，此桥气势比七星桥还大，可谓东横河上第一桥，已毁坏了。
宋代孙应时曾撰《客星桥记》：“自汉建武以来千余年，严先生之高风，激越宇宙，天下尊之，无异辞。先生吾余姚人也，晚耕于富春山，富春析而为桐庐，钓台属焉。自文正范公建祠而记之，钓台之名大显，崖石草木，得以衣被风采，发纾精神，传绘于天下，其邦人尤以为荣。而吾邑之地灵人杰，世反不传非阙欤。土俗所记，吾邑少东，江濑粼粼，潮汐上下常有声，是为子陵滩，意者其初之钓游处也。东北十里有奇峰，曰陈山，拔立千仞，秀表一方。而丛石隆起在山之阴，据峻陉，俯长川，以望东海，是为严先生墓，意者尝家是山而归葬也。傍又有山，曰严公山。有古丛祠，曰先生庙。其应史占如此，岂诬也哉……陈山临大浦，民桥其上，旧坏。淳熙十年，僧清式大改作，甓石如虹，袤百有五十尺，石栏翼之甚装，六年乃成。里人相命，亦曰：‘客星桥’。……”
客星古渡原是一个渡船埠头，遗址在今客星桥东首不远处，建客星桥后，渡废。传说当年严子陵拒绝光武帝刘秀封官，从洛阳回老家，到余姚后改乘小船在此古渡上岸，反穿钉靴上陈山，后隐居桐庐富春。在客星桥东，旧称子陵滩，系严子陵垂钓处。