上犹县建县于952年（南唐保大十年）。因境内有大山，状似犹蹲，高耸于场治北面，古称大犹（猷）山（即油石嶂），山下有犹水（即油石河）。治所建于大犹山之南，犹水口上侧，故名上犹。
976年（宋太宗太平兴国元年），上犹县属江西南路虔州。
990年（淳化元年）于大余臵南安军，上犹县属之。
1212年（宁宗嘉定四年），改上犹县为南安县。《南安府志》载：“己已匹袍洞陈癸反，西路通判孙，咎犹字有反义，至壬申改上犹县为南安县”。
1277年（元十四年）改南安军为南安路总管府，辖大余、南康、南安。至1279年（元十六年），改南安县为永清县。次年，复名上犹县，属南安路总管府。
1368年（明太祖洪武元年）改南安路为南安府，上犹属南安府，隶江西中书行省。清承明制，上犹仍居南安府，隶江西布政使司。
1912年（民国元年）冬废府，上犹县直隶江西省政府。
1914年（民国3年），江西分四道，分领81个县，上犹属赣南道。
1926年（民国15年）废道，省直辖各县。
1931年（民国20年），隶陆海空军司令部南昌行营党政委员会。
1932年（民国21年），全省划分为13个行政属赣南专区。
1935年（民国24年），全省缩为8个行政区，上犹属第四行政区。第二次国内革命战争时期，上犹属湘赣省苏维埃政府。
1930年5月，成立上犹县革命委员会。1931年5月，成立上犹县临时革命委员会，属江西省苏维埃政府，同年10月，建立上犹县苏维埃政府，属苏维埃湘赣省。
1932年10月，上犹县苏区失陷，苏维埃政府停止活动。
1949年8月16日上犹解放，成立上犹县人民政府，隶属赣州分区督察专员公署。1951年，属赣州专臵。
1954年，属赣南行政公署。1955年3月，上犹县人民政府改为上犹县人民委员会。1964年，属赣州地区。
1968年4月，上犹县人民委员会改为上犹县革命委员会，属赣州地区革命委员会。
1980年12月复改为上犹县人民政府，属赣州地区行政公署。1999年7月撤销赣州地区，设立赣州市，上犹县隶属赣州人民政府。
2001年8月，经上级批准，全县开展并完成了撤并乡镇工作。由18个乡（镇）撤并为14个乡（镇），即：撤销中稍乡、沿湖乡并入东山镇；撤销兰田乡并入社溪镇；撤销金盆乡并入水岩乡；黄埠改乡为黄埠镇。