唐龙朔二年（公元622年）六祖惠能遵照五祖弘忍“逢怀则止”的师语，离开投师八个月的黄梅东山寺，跋山涉水来到怀集上爱岭龟嘴岩藏隐修炼。怀集境内崇山峻岭，木阔林深，宛如“世外桃源”无尘仙境。怀集冷坑上爱岭（后称六祖岭）紫气旺盛，龟嘴岩（后称六祖岩）灵根清净，给了惠能一个安全幽静的修炼环境；怀集人民勤劳纯朴善良，和睦相处，又给他提供了长期栖息的条件。他白天和群众劳动，晚上面壁修炼。他在群众中不断地吸收营养，充实自已的哲理，悟出了一条佛教创新改革的路子。他主张识心见性，使佛教平民化，把禅宗哲理推向了顶峰，成为符合中国国情、具有中国特色的佛教，在我国乃至全世界的宗教、文化与哲学上都产生了重大的影响。惠能于唐仪凤元年（公元676年）离开怀集，到广州法性寺（现光孝寺）剃度，之后往韶关南华寺弘法，成为佛教禅宗六祖。

        六祖惠能在怀集修炼期间，帮助村民耕田，送医送药，影响深远。为了尊崇六祖，弘扬六祖文化，各方绅士和乡民自筹资金，建立佛堂佛殿。自唐以来不完全统计，全县先后共建有佛寺、禅院、庵亭、楼阁三十五多座，并有二十多个地方以佛命名。怀集佛寺林立，遍及各乡镇，乃是岭南佛乡之圣地。