清晖园原本明朝万历丁末状元黄士俊宅第。明万历三十五年（公元1607年），顺德杏坛镇人黄士俊高中状元，官至礼部尚书、大学士。为了光宗耀祖，于明天启元年，在城南门外的凤山脚下修建了黄家祠和天章阁、灵阿之阁。后黄家衰落，庭院荒废，清乾隆年间，当地龙氏碧鉴海支系21世龙应时得中进士，将天章阁、灵阿之阁购进。
该院归龙家后，由龙应时传与其子龙廷槐和龙廷梓，后来廷槐、廷梓分家，庭院的中间部分归龙廷槐，而左右两侧为龙廷梓所得。其中龙廷梓将归他的左、右两部分庭院建成以居室为主的庭园，称为“龙太常花园”和“楚芗园”，人们俗称左、右花园，南侧的龙太常花园在园主衰落后，卖给了曾秋樵，其子曾栋在此经营蚕种生意，挂上“广大”的招牌，故又称广大园。
应时长子龙廷槐字澳堂，大良人氏，于清乾隆五十三年（公元1788年）考中进士，曾任翰林院编修，候补御史。嘉庆五年（1800年）辞官南归，筑园奉母。嘉庆十一年（公元1806年），其子龙元任请了江苏武进进士，书法家李兆洛书写了“清晖园”三字书余园的正门上方，以喻父母之恩如日光和煦照耀。其后，经廷槐之子龙元任，孙龙景灿，曾孙龙诸慧一门数代的继续精心营建，几经修改加工，至民国初年，全园格局始臻定型。抗日战争期间，龙氏家人避居海外，庭院日趋残破。

清晖园的造园特色首先在于园林的实用性，为适合南方炎热气候，形成前疏后密，前低后高的独特布局，但疏而不空，密而不塞，建筑造型轻巧灵活，开敞通透。其园林空间组合是通过各种小空间来衬托突出庭院中的水庭大空间，造园的重点围绕着水亭作文。
其次，清晖园内水木清华，幽深清空，景致清雅优美，龙家故宅与扩建新景融为一体，利用碧水、绿树、吉墙、漏窗、石山、小桥、曲廊等与亭台楼阁交互融合，造型构筑别具匠心，花卉果木葱笼满目，艺术精品俯仰即拾，集我国古代建筑、园林、雕刻、诗画、灰雕等艺术于一体，突显出我国古园林庭院建筑中“雄、奇、险、幽、秀、旷”的特点。