据本镇赵庄村和大坪村发现的新石器时代的石器鉴定，远在新石器时代已有人类在境内繁衍、生息。

    县境 圪洞镇战国时期始置皋狼邑，属赵地，西汉置皋狼县属西河郡。

    西晋置左国城，属西河国。北齐文宣帝天保三年（552）置皋狼县，属怀政郡（离石）。

    北周静帝大象年间增设窟胡县，属石州，隋炀帝大业三年（607）建方山县。

    唐高祖武德二年（619）置方州，县属之。

    武德三年（620）州废，改属石州。

    贞观十一年（637）方山县治移往今古贤，仍属石州，金宣宗贞四年（1216），县治迁于积翠山。

    元世祖至元三年（1266）省方山县，并入离石县，属石州。

    民国七年（1918）复置方山县，属冀宁道。民国二十六年（1937），属第四行政公署。民国二十八年（1939）属第二行政公署。民国二十九年（1940）晋西北成立抗日民主政权－－山西省第二济南区公署，县属四专区。民国三十一年三、四专区合并为三专区，县属三专区。民国三十二年（1943），西北行政公署改名为晋绥边区行政公署，县属晋绥边区三分区管辖。

    1949年2月15日晋绥边区与陕甘宁边区合并后设晋西北行署，下设4个分区，县属离石分区。9月，山西省人民政府成立，县属兴县专区。1952年7月1日，撤销兴县专区，县归榆次专区。1954年7月1日与离石县合并为离山县。1958年11月10日中阳县并入离山县后，改名离石县。1971年5月1日恢复方山县，县城设在圪洞镇，属吕梁地区。

    2004年5月，吕梁撤地建市，方山县归离石市管辖。