少陵台因诗人杜甫晚年由洛阳来兖州省父并于此寓居而得名，杜甫晚年自称“少陵野老”。

杜甫《登兖州城楼》诗云：
东郡趋庭日，南楼纵目初。浮云连海岱，平野入青徐。
孤嶂秦碑在，荒城鲁殿余。从来多古意。临眺独踌躇。

少陵台位于兖州九州大道中段（原少陵西街）。唐代大诗人杜甫晚年自称“少陵野老”。唐开元二十年春，杜甫贡举下第，是时杜甫的父亲杜闲正在兖州司马任上，杜甫由洛阳来兖州省父，以后并于此寓居。按其《壮游》诗：“峙下考功第，独辞京尹堂。放荡齐赵间，裘马颇清狂。快意八九年，西归到咸阳。”可知杜甫下第后即来兖州。

明初，朱元璋第十子朱檀封为鲁王，藩兖州。兖州城南扩，为纪念杜甫，在杜甫登楼处城墙保留一段，改建成台，遂称少陵台。为兖州八景之一，谓之“南楼夕月”，南楼遗址土基——少陵台，现为兖州市重点文物保护单位。近年，在台周围以砖砌墙，加以保护，可供登临。