关于建造崇禧塔的传说，历来众说纷纭，其中流传较广而最为人们所接受的，主要有三种讲法。
一是“一篙插竹排”的讲法。古时，西江经过三榕峡、大鼎峡后，分为三条支流滔滔向东：主干流由端州出羚羊峡；一条支流流经高要南岸、金渡后，再沿着宋隆河流往高要金利、高明城区；另一条支流沿着北岭山山脚从睦岗经七星岩流向鼎湖水基、民乐桥一带，到鼎湖之后，与出羚羊峡的主干流会合。以羚山为分水岭，两条峡谷称为“双羊峡”。端州处于两条水道之间的窄长地域，是一块庞大的沙洲，状如一只大竹排浮于水面。在沙洲上建塔，犹如在竹排插上一杆竹篙，使端州不被西江洪水冲走。
二是“锁龙镇妖”的讲法。据说，每年的春、夏季之交，西江的黄龙、妖怪一起兴风作浪，常常肆虐端州，冲垮堤围，毁坏房屋，淹没田地，农作物颗粒无收，给人们带来了无法估量的灾难。时人认为：“龙宜潜，不宜跃。”建塔乃希冀能够锁住黄龙，镇煞河妖，永固堤围，遏止洪水泛滥。
三是“文运兴旺”的讲法。由于西江河水“滔滔而东，其气不骧，人才遂如晨星”，若建塔聚气，可使人才辈出。
可话又说回来，建造崇禧塔之举，实质上是源于“瑶乱”、“壮乱”、“黎乱”，激起了封建统治者振兴文风的“教化”之念。
明代，肇庆因为“改土归流”（改以流官取代土官）而战事连绵。
“改土归流”自明代中叶以后便逐步开始，是在土官与封建王朝的矛盾日益尖锐的情况下产生的。自唐、宋代以来，这个矛盾就长期存在。随着社会生产力的不断发展，土官制度越来越不适应社会的需要，弊端越来越明显，广大人民不断的反抗斗争又动摇了土官制度的统治。与此同时，土官又日益与封建王朝闹对立，反对封建王朝对它的管辖。这种有损于封建王朝国家统一的行为，明王朝自然是不能容忍的。于是，“改土归流”是势在必行了。