当时游子山称梁山，相传孔子周游列国时曾登上此山，产生游子思归的念头，山名由此而得。游子山是高淳的父亲山，高淳人有 “见不到游子山就会哭”的说法，��种游子文化的情结深深植根于高淳人的血液里。高淳每年正月十五有个独特“晒晦”的习俗。一二十万人会登上被誉为“濑渚第一形胜”的高淳最高的“圣山”——游子山进行“晒晦”，以晒掉过去一年的晦气，祈求新一年幸福安康。这对只有40多万人口的高淳来说可谓一件大事。
当日人们扶老携幼呼朋唤友前往，山顶上人山人海热闹非凡。邻县及附近的安徽民众都慕名前来。 高淳正月十五到游子山“晒晦”的民俗已流传数百年。相传清雍正年间一个名叫杨白安的宰相上任后事业不顺很是烦恼。这年正月初他做了一个梦，梦中张天师对他说：看你一身霉气，晦气不少啊。杨果然看到自己身上有霉怎么也掸不掉，急忙跪求。天师告诉他正月十五天官下凡到江南巡视，要他到游子山顶伺候。
正月十五这一天，杨白安特地骑马到高淳，登上游子山顶。午晌时一团彩云向山上飘来，空中一位天官手持拂尘在杨头顶一掸并告诉杨：“每年正月十五都来游子山相会”随即飘离而去。后来杨白安事事顺利全家安康的消息传开，每逢正月十五这天百里之外的人都来游子山“晒晦”。
虽是一种传说，但纷至沓来的人们一则祈求全年好运，二则登高踏青，有人“晒晦”下山时还要带一把山上的竹丝以保一年好运、平安，讲究的带回去扎成笤帚扫地寓意驱除邪恶扫去晦气。