马鞍山历史悠久，市名源于历史，相传楚汉战争时，楚霸王项羽被困，四面楚歌，败退至和县乌江，请渔人将心爱的座骑乌骓马渡至江安，后自觉无颜见江东父老。自刎而亡，乌骓马思念主人，翻滚，马鞍落地为一山，马鞍山由此而得名，在马鞍山现有的历史史料中，最早由马鞍山山名记载的是明代太平府志，马鞍山在府城西口慈湖港口，旧有神祠，赤乌二年所建。

马鞍山地区西周时候属于吴国，春秋战国时期改为越国和楚国，秦至西晋均属丹阳县。

东晋咸和四年，淮河之的当涂县流明南徙，遂于今南陵一代侨至当涂县，江南有当涂县明，但非实体县。

永和元年，江北豫州侨置于牛渚

南朝梁天鉴元年，分丹阳县份南阳郡县，郡至采石。