西汉置阜城县。
《尔雅》：“大陆曰阜。”《说文》称：“阜”为“山无石者”。刘熙《释名》：“土山曰阜。”县境坡阜较高，河患较轻，取《尚书》“阜成兆民”之义，定名“阜成”。
元代以前，阜阳旧城为土城，明洪武初年，颍川卫总指挥李胜重修颍州城，将北城土垣改为砖垣，颍州城四面城墙骤起，城内也日渐繁华。
洪武元年（1368年），颍州设颍川卫（军事机构），属河南都司。
明洪武时期，颍州辖太和、颍上两县，属南京（又称直隶省）凤阳府。
清顺治十五年并卫入州，撤销颍川卫。
唐末（905年）改汉阜县，后唐复置阜城县。
1958年，并入交河县。
1962年，复置阜城县。