“荷芳书院”是清晏园历史上较早落成的建筑，它建于乾隆十五年，时任江南河道总督的高斌，为迎接乾隆皇帝第一次南巡阅河，特地在园中莲池北岸构堂五楹，周遭皆游廊，奇石名花，随宜布置，以作为皇帝巡幸的行馆。然乾隆皇帝仅驻跸一次，后未再使用，为了奬勉高斌的勤政劳绩，乾隆皇帝就将这所行宫赐给他作为沐休之所，高斌即名其曰“荷芳书院”，并请无锡著名书法家蒋衡（字拙存）题横匾，悬于大堂。顾名思义，当是应莲池之景而取名。 莲池约有一顷，为前任河道总督张鹏翮所开。康熙三十九年，张鹏翮奉命赴清江浦治理河务，河署西偏有大小池沼若干，张鹏翮即命手下人将其连成一体，池中艺莲，四周植柳，以湖石、亭轩点缀其间。大诗人袁枚曾写《留别荷芳书院》诗，有“尚书官舍即平泉，手辟清江十亩烟”句，所谓“尚书”指得就是张鹏翮，盖其身居兵部尚书兼都察院右都御使之职也。

张鹏翮驻节清江浦连续十年，每年夏秋之季，他在处理公务间隙，往往要到池畔小憩，欣赏莲荷。据说，因池中水清泥肥，莲荷长得很茂盛，叶高逾丈，花以千计，间有并蒂而生，人或目之为瑞莲。据刘廷玑《在园杂志》卷三载：“张遂宁先生鹏翮以宫保尚书总督河道，驻淮安清江浦。行署之西有大方池，莲花最盛，忽开并蒂数茎，莲房颇大。先生宴集僚属赋诗，图以纪其事。时封翁太先生在署，年正八旬。先生与夫人结发齐眉，介弟三人、二公子暨孙辈俱欢聚一堂，人以为佳兆。”为此，张鹏翮作《御书亭莲池开并蒂花》诗四首，其中写到：

闲心定水足徘徊，喜见莲花并蒂开。

为酿太和元气早，清香风送自天来。

碧池印月爱风凉，亭下荷花双绽香。

喜动亲颜频叹赏，人间棣萼此联芳。

凉风袭裾，荷香扑鼻，令人心旷神怡。高斌为所构建筑命名为“荷芳书院”，正是取“香清益远”之意。另外还有一层意思，“荷芳”乃“河防”之谐音，以示他居此休沐之所，始终不忘河防之责。高斌撰著的《固哉草亭集》卷四有一首《荷芳书院》，题下有注：“蒋拙存题额，取音河防之义。”诗云：

碧沼花明画不如。清香馥远满庭徐。

飞鸣况有谈诗鸟，游泳还闻读月鱼。

作字既完常洗砚，办公才了即观书。

老之将至吾知否？慎重河防一览余。

从诗中可以看出，所谓“书院”，只是作为该建筑的借喻，并非我们通常所认为的传道解惑授业之课堂，而是供河督赏碧沼、闻荷香、听鸟音、观鱼游，偶尔也读读书、练练字，调节身心的休憩场所。当然，在历史上，历任河督在这里更多的是用来接待上司巡察，召集僚属议事，处理河务事宜，决策治河方略。而这又与“荷芳”的谐音“河防”暗合。由此可见，高斌取“荷芳书院”之名有双重含义。