县境四、五千年以前，已有人类定居。经普查，在窟野河、秃尾河两河流域，有数处仰昭文化、龙山文化遗址。

夏，县境属雍州地，为熏育占据。

商，为龙方地。

西周，严狁族占据。

春秋战国，县境为白狄故地（一说为林胡族地）。

秦，为上郡北境，又改属九原郡，称为新秦。

汉，元朔二年（前127），置五原郡。我狩三年（前120），称新秦中。后又在秃尾河下游置言阳、言阴、鸿门三县，属西河郡；秃尾河上游置白土县，属上郡。

三国、西晋，为羌胡占据。

东晋十六国，先后为后赵、前秦、后秦、夏政权属地。

南北朝，先为北魏地，置石城县（今解家堡一带），后改名为银城县，属上郡；后为西魏地；再后为北周地。置归真郡（今解家堡一带）。

隋，置银城县（今解家堡一带），属雕阴郡。

唐，开元十二年（724）置麟州（治所在今杨家城）、天宝元年（742）改为新秦郡，乾元元年（758）复为麟州，领属麟州，领属新秦（今杨家城）、连谷（今黄羊城）、银城（今解家堡一带）3县。

五代时，县境先后属唐、晋、汉地域，仍置麟州。

周、北汉，仍置麟州，与府州、胜州自立，随情势委依于周汉两大政权之间。

宋，仍置麟州，属于河东路，领新秦、连谷、银城3县。

乾德五年（967）升麟州为建宁军，后又复还旧制。

端洪二年（989）又改麟州为镇西军。

政和四年（1114）废银城、连谷两县，并入新秦县。

辽、金、夏为镇西军，后撤销镇西军，改为神木寨（仍在今杨家城，因城外有松树3株故名），先后被金、夏占有。

元置云州于神木寨。

至元六年（1269），废州为神木县，以葭州领属的太和县（金建，在今太和寨）并入。

明洪武六年（1373），改神木县为神木堡，属榆林卫，洪武十四年（1381）复置神木县，属葭州。

隆庆间，置东路神木道于神木，管辖葭州及神木、府谷、吴堡3县。

清雍正九年（1731）神木道改为延绥府道，移驻绥德，神木县属于葭州，后属榆林府。

民国神木县属于榆林道（后改为榆林专署）。