裴公亭位于资江一桥南端西侧的白鹿山上，为纪念唐代名相裴休贬任荆南节度使时数次栖住益阳而建。 亭依山傍水，古木环抱，远望树色葱茏，云蒸霞蔚，“裴亭云树”因此得名。明代罗先衡曾书“咏裴公亭”诗一首：

峭壁临江渚，登高仰昔贤； 草亭空寂寂，云树尚依然。

古代的裴公亭，几经风雨衰废，古貌已无从查考。据益阳县志记载，明熹宗四年（1624）此亭重修，清康熙年间曾在亭后建云树庵，道光27年（1847），知县王维桓轻听谗言，毁亭存庵，1923年才由地方募捐仿建，亭高三层，亭上有“裴公亭”门匾，亭内供奉有裴公画像，和出生在益阳的明末江西巡抚郭都贤、清代翰林院学士胡太源的神位牌。 清庄士祯和田见农均有诗记裴公亭。庄士祯诗云—— 鸟道羊肠隐隐通，四边云树郁葱葱。 有風有月岂无主，好水好山犹属公。 绕砌苔含新雨露，窥栏花覆晚霞红。 荒亭寂寂人千古，极目天涯四大空。

田见农诗云—— 一色苍茫小洞天，裴亭结构是何年？ 云阴密覆斜阳外，树影深遮古道边。 白鹿不来花自在，青山无恙客多缘。 当时风月今犹是，却让先生占最先。

七十年代修益阳资江一桥时该亭正处南岸桥头而拆毁。现在屹立在桥头的裴公亭，是1982年在原址西侧重新修建的。仿唐宋风格，亭高二层，亭上三个苍劲雄浑的行书字“裴公亭”为中国佛教协会会长赵朴初先生题写。亭周建有著名作家叶紫纪念台，汇集益阳古十景画的艺术长廊，塑有白鹿群雕，人造石钟，通幽的曲径台阶，小巧的望江亭阁。裴亭精巧玲珑，文化品位颇高。