西汉初年，赵佗割据两广，建立了南越国。赵佗将前南海郡管辖的粤北地区并入了南越国版图。当时仍未不置县。粤北设县，始于南越国灭亡之后。汉武帝元鼎六年（前111年）灭南越国，汉王朝鉴于南越国割据的教训，设置了地跨骑田岭南北的桂阳郡（郡治在今湖南郴州市）。

三国末年，吴主孙皓于甘露元年（265年）始析桂阳郡南部地区置始兴郡，治所在曲江（今韶关市区），是为韶关立郡之始，将今市属各县第一次统一在一个行政区（郡）内。二晋因之。其时，始兴郡之辖区相当于1983年地、市合并前的原韶关地区和原韶关市所辖区域的总和，为古代史上以韶关为政治中心所辖区域最大的时期。

南朝170年间（420－589年），朝代更替频繁，导致粤北境内的郡县时废时兴，沿革复杂。南雄刘宋时，始兴郡曾一度改称广兴郡，到南齐时又复称始兴郡，辖境与晋略同。梁、陈两代，曾在今市境内设置衡州和东衡州两个一级行政区和阳山、始兴、安远三个个二级行政区。