阿尔山市前身是兴安盟科右前旗的一个建制镇，1992年12月5日经自治区人民政府批准成立阿尔山经济开发区，实行计划单列。

1996年6月经国务院批准设立县级市。[1] 以兴安盟科尔沁右翼前旗阿尔山镇的行政区域为阿尔山市的行政区域。

1996年，阿尔山市面积9600平方千米，人口4.8万人，其中蒙古族5907人，另有流动人口3.4万人。辖3个街道、3个镇：温泉街道、新城街道、林海街道、伊尔施镇、白狼镇、五岔沟镇。市政府驻温泉街道辖区内。

2000年第五次人口普查，阿尔山市总人口45189人，其中：林海街道18888人，新城街道4107人，温泉街道6541人，伊尔施镇2399人，白狼镇2164人，五岔沟镇11090人。

2001年，辖3个街道、5个镇：林海街道、新城街道、温泉街道、伊尔施镇、天池镇、白狼镇、五岔沟镇、明水镇。

2006年，撤销伊尔施镇，并入天池镇；撤销明水河镇，并入五岔沟镇。

2006年末，全市总面积7408.7平方千米。总人口49679人，其中少数民族12159人，占总人口的24.5%；非农业人口49132人，占总人口的98.9%。辖3个镇和3个街道。

2009年，阿尔山市总面积7408.7平方千米。总人口4.7万人。辖天池、白狼、五岔沟3个镇和温泉、新城、林海3个街道。

2011年，恢复明水河镇。调整后，全市辖3个街道、4个镇：林海街道、新城街道、温泉街道、天池镇、白狼镇、五岔沟镇、明水河镇。