远古时该地是共工族的居住地，今城南的孟庄遗址，就是当时人类活动的遗存。该地夏属冀州之域, 殷商时为畿内地。周称凡国、共国。相传周朝共和元年，执政的共公的封地就在该地。《诗经·卫风》篇里“毖波泉水，亦流于淇”，即是指城西北的百泉湖。西周时该地为共国，西汉置共县，隋置共城县。金代时，先改为河平县，金贞佑四年（1216）改辉州，因山下百泉湖畔建有清辉殿得名。直到明初洪武年间降为辉县。清代属卫辉府管辖（治所在汲县）。1988年撤县设市，但仅在辉县后加“市”字，称作“辉县市”，并使用至今，成为中国目前仅有的名称中带“县”字的城市。

与辉县有关的历史有：上古时代的共工部落；大禹治水；西周初年的共伯；春秋时期郑国的段；战国时代六国最后一个君主齐王建被流放并死于此；西晋初年的竹林七贤；北宋中叶邵雍在此学习易经；北宋末年王彦、岳飞、八字军在此战斗；元初耶律楚材晚年隐居于此地；明朝李贽曾经担任共城教谕；清初大儒孙奇逢隐居于此；清末袁世凯下野后，最初选择隐居在辉县西关，并建有府第；北洋时期，徐世昌等人多次来往此地；冯玉祥重修百泉 ；抗战时期辉县被日军占领；民国32年，国民革命军第八路军曾发动卫南战役，光复辉县北部地区；平原游击队的原型即是取材于在辉县活动的郭兴等人的事迹；七十年代，辉县与林县因为大搞水利建设而闻名。

共、龚、段姓起源于辉县。一种说法称大禹所治之水，即在今日辉县境内，大概以当时的人力物力，尚不能治理江河。因此“洪”一字即源自辉县旧称“共”，“洪水”也就是“共地之水”。