玉山建县至今已有1300余年历史。始建于唐(周)证圣年(公元695年)，分衢州须江(今浙江省江山市)、常山和饶州弋阳三县之一部置县，隶江南道衢州。因境内有相传天帝遗玉而成的怀玉山而得名。从建县至宋、元朝期间，玉山一直隶江浙行中书省，属江南东道信州。至明朝洪武四年(公元1371年)，因漕运不便，随广信府改隶江西行省。 建县前，玉山现辖地域在春秋战国时先后属吴、越、楚三国。 秦朝，金沙溪以东属会稽郡太（读“达”）末县，金沙溪以西属九江郡余汗（读“干”）县。 汉代，初沿旧属，至献帝初平三年（192），分太末立新安县，东部属新安；建安十五年（210），析余汗东境设葛阳县，隶鄱阳郡，县西境属葛阳县；建安二十二年，又分新安设定阳县，县东境属定阳。 三国时，为吴国领地。 西晋时期，初属东阳郡，隶吴州；至太康元年（280），改新安为信安，县东境属信安、定阳两县地。 南朝（陈）天嘉三年（562），东境随信安、定阳县改隶金华郡。 隋朝初，改郡为州，并定阳入信安，东境属信安县，隶婺州；开皇十二年（592）改葛阳为弋阳，西境相应属弋阳县。 唐初，分属衢州常山、须江（今江山市）县和饶州弋阳县；证圣（周）年（695），分须江、常山与弋阳之一部署县，因地有武安山，名武安县，隶江南道衢州；神龙元年（705）改武安（武则天省“武”字）为玉山县，以境有怀玉山而名；天宝元年（742）衢州改为信安郡，玉山亦随隶信安郡；乾元元年（758）改信安郡为信州，玉山相应属信州，隶江南东道。 宋朝，初沿旧属，至建炎四年（1130），江西路、江东路合并为江南路，玉山隶江南路；绍兴元年（1131），复分江南路为江南东路、江南西路，玉山隶江南东路。 元朝，至元十四年（1277），县属信州路，隶江浙行中书省；至正二十年（1360），改路为府，县属广信府，仍隶江浙行中书省。 明朝，洪武四年（1371），因隶江浙漕运不便，随广信府改隶江西行省；洪武九年废行中书省，设承宣布政使司，下分道，县随府隶江西承宣布政使司湖东道。 清朝（1644—1911），属江西省广信府。 民国元年（1912）冬，废府、州，县直隶江西省；3年，全省分四道，县隶豫章道；15年废道，县仍直隶于省；20年，省下设行政区，玉山隶第九行政区（驻上饶）；21年以后，江西五次改变行政区划，玉山均属第六行政区（驻上饶）。 第二次国内**战争时期，县西北山区为赣东北**根据地之一部，先后建立过玉山县和怀玉县苏维埃政府。 民国38年（1949）5月解放至8月，县隶赣东北行政区；9月行政区撤销，改隶上饶专区；1968年改专区为地区，县仍隶上饶地区；1980年地区改为行政公署，县仍隶之；2000年10月撤销行政公署，改市辖县，玉山隶上饶市管辖。 玉山自建县以来，县域范围曾有两次较大的变动：一是唐朝乾元元年（758），须江县南乡的镇头墟即下镇墟划归县辖；二是中华人民共和国建立后，于1952年5月，浙江省江山县（现为市）官溪乡的内村、外村、后山、中店4个行政村，37个自然村和南坞乡的大桑园、周家墩、黄坳3个行政村，28个自然村，合计计1800户，划归县辖
1981年同意设立玉山县少华、林岗人民公社。

1985年4月18日，玉山县设立怀玉、三清乡（赣府厅字[1985]230号）。

1992年7月27日，玉山县撤销仙岩乡、下镇乡、岩瑞乡、白云乡、临湖乡、双明乡、樟树乡、横村乡，设立仙岩镇、下镇镇、岩瑞镇、白云镇、临湖镇、双明镇、樟树镇、横街镇（赣民字[1992]138号批复）。

1994年3月12日，玉山县撤销文成乡、紫湖乡，设立文成镇、紫湖镇(赣民字[1994]40号批复）。

1996年3月19日，玉山县撤销必姆乡，设立必姆镇（赣民字[1996]51号批复）。

1996年12月20日，玉山县将林岗乡的县后山、许家、莲塘、小徐、下徐五个村委会和东津桥村委会的西津村民小组，文成镇的文成、金交、后垄三个村委会六都乡的殿口村委会成建制划归冰溪镇管辖（赣民字[1996]284号批复）。

1997年3月21日，玉山县必姆镇更名为必姆镇（赣民字[1997]59号批复）。

1999年12月31日，玉山县林岗乡政府驻地迁至潘家（赣民字[1999]292号批复）。

2000年，全县辖12个镇、12个乡：冰溪镇、紫湖镇、双明镇、白云镇、樟村镇、岩瑞镇、横街镇、下镇镇、文成镇、临湖镇、仙岩镇、必姆镇、三清乡、怀玉乡、少华乡、童坊乡、南山乡、四股桥乡、林岗乡、六都乡、群力乡、下塘乡、华村乡、官溪乡。　根据第五次人口普查数据：全县总人口515934人，其中各乡镇人口（人）： 冰溪镇 66640临湖镇 31958 必姆镇 27201 横街镇 30931 文成镇 27608 下镇镇 42690 岩瑞镇 18932 白云镇 17162 双明镇 19427 紫湖镇 21733 仙岩镇 17184 樟村镇 28919 南山乡 20866 童坊乡 15668 下塘乡 20677 四股桥乡 27725 少华乡 5998 怀玉乡 3231 林岗乡 12760 六都乡 12160 华村乡 15691 群力乡 14298 官溪乡 11966 三清乡 4509

2001年11月8日，玉山县撤销群力乡，划归六都乡；撤销官溪乡，划归仙岩镇；撤销林岗乡，划归岩瑞镇；撤销少华乡，划归双明镇；撤销童坊乡，划归怀玉乡（赣民字[2001]508号批复）。

2004年底，全县辖12个镇、7个乡：冰溪镇、临湖镇、必姆镇、横街镇、文成镇、下镇镇、岩瑞镇、白云镇、双明镇、紫湖镇、仙岩镇、樟村镇、南山乡、怀玉乡、下塘乡、四股桥乡、六都乡、华村乡、三清乡(三清山风景名胜区)。

2006年1月20日，撤销玉山县华村乡，成建制划归六都乡管辖；撤销玉山县白云镇，成建制划归岩瑞镇管辖