元张铉《【至正】金陵新至》载：“晋元帝自广陵渡江，丞相王导建幕府于此山，因名。“但根据近年考古发现证实，幕府山早在东吴时期就已有莫（幕）府山之名了.

幕府山建国前有五座山峰，主峰偏向西北，名北崮山，海拔204米，峰下有幽深的石洞。中峰有仙人洞和虎跑泉等名胜；西北二峰合称夹萝峰，亦称“夹骡峰”、”翠萝峰"。

幕府山东面，沿江有石灰岩山岭，明代洪武年间在山旁建有观音阁，所以幕府山又叫做观音山。至明英宗时，建造了弘济寺，后代又改名为永济寺；寺庙前楹有石碑，有临摹吴道子所画的观音像。

在幕府山远眺长江夜景

幕府山有岩山12台洞奇观，有头台、二台、三台洞三处溶洞；头台洞的东边是燕子矶。

幕府登高为清代金陵48景之一；清代选出的“金陵48景”中“幕燕风景区”占了六景（幕府登高、达摩古洞、永济江流、化龙丽地、嘉善闻经、燕矶夕照）。

建国后的白云石矿

建国后，二十世纪五十年代人民政府在幕府山设置白云石矿，挖矿将近50年历史；由于开挖白云石矿，所以幕府山的动物变得非常少，山上只有少量的黄色山蛙与野鼬，昆虫种类也不多。幕府山的植物有黄连、皂角、紫薇、刺槐、土参、三七、野花椒、野柿子、何首乌和一些硬木等树种，还有苔藓植物类，一些稀有物种如幕府山原有的秤锤树与铜钱树已经基本没有。