浮山寺是全国重点文物古地之一。位于广西贺州市贺街镇临、贺两江交汇处，距临贺故城（贺街镇）3千米，距离贺州市区23千米。这座古寺始建于唐朝，为纪念一陈姓秀才而建，在秀才生辰和忌日，八方乡亲云集浮山对歌，歌颂秀才功德，衍成今日盛大的农历四月二十六日“炮期”和农历五月十九日“歌节”。浮山四周悬崖峭壁，奇险无比，相传浮山建寺至今，不管遇多大的山洪，从未被水淹过，浮山始终浮在水面之上。拾级而上，山上林木参天，古藤缠树，层石峥嵘。山门石边的浪沧亭，刻有李济深先生手书的"浮山"二字以及历代书法家的作品。山上有环碧亭、陈侯祠、对歌楼、钓鱼台等建筑，青瓦玉栏、红柱丹梁，古诗楹联随处可见。
传说是陈姓秀才积德成仙去了，后又常显灵庇护乡民。所以这座上不管是什么发多大的洪水都是浮在水面上，没被淹过。
为纪念其恩德，乡民便在浮山立庙祭祀，并尊奉他为“陈候大王”，庙称“陈王祠”。每逢陈王生日（农历四月二十六日）和忌日（农历五月十九日），远近百姓都要来此纪念他。万余两万人到会，聚于山上、河边，放花炮，赛山歌，热闹非常。纪念活动分为“炮期”和“歌期”，尤以歌期为盛，往往延续多日。新中国成立后，“炮期”逐渐变成以歌为主。期间张灯结彩，歌舞处处，常常通宵达旦，故又称之为“点灯会”。