一直以来，在新安江上都依靠船夫摆渡通行，而江水的定期泛滥，常常会阻断人们的通路。当地流传有打油诗形容白沙的险滩，一句是‘走遍天下路，难过白沙渡。过了白沙渡，难走叶家路。’还有一句是‘一撑撑到罗桐埠，一淌淌到江村埠，船夫撑一篙，船就能行驶四五里的水路，下了三点毛毛雨，就难过白沙渡。’
传说，唐末的农民起义军首领黄巢率起义军攻打睦州，在寿昌遭官兵伏击，突围来到白沙渡口，面对江水滔滔不绝，无法横渡，万般焦急之时，正在江边浣纱的白沙女听得黄巢一声长叹，一时情急，随手将手中的一束白纱向江对岸抛去，说也奇怪，白沙立刻变成了一道白石桥，横跨两岸，黄巢得以过江，逃过一劫。姑娘将白沙一收，白石桥不见了，只有江中缕缕白雾在漂浮，官兵只得望江兴叹。不数日，黄巢得胜归来，得知官兵已杀害了白沙女，悲痛之余，黄巢觅得姑娘尸骨，厚土而葬，并亲书“白沙女之墓”，立碑祭祀。
以后，白沙女就成为了美丽善良的化身，她的故事代代流传，人们还立起白沙女的塑像来纪念她。