合肥古为淮夷地，商朝称虎方，西周称夷虎。春秋战国时期，先属楚，后属吴、属越，再后又属楚，终为秦兼并。秦始皇二十六年（前221），废分封，立郡县，属九江郡。
    西汉高祖元年（前206年），项羽在九江郡地置九江王国。高祖四年，改九江王国为淮南王国。汉文帝六年（前174年），改淮南王国为淮南郡；十二年，复将淮南郡改为淮南王国。汉武帝元狩元年（前122年），改淮南王国为九江郡，辖合肥等县，合肥县名始见于此。汉武帝元封五年（前106年），置十三州，合肥县属扬州九江郡。
    东汉光武帝建武元年（25年），改合肥县为合肥侯国。汉献帝建安五年（200年），废合肥侯国，复改为合肥县，扬州治合肥。
三国时，合肥县属魏国淮南郡，为扬州治。
西晋武帝太康元年（280年），改九江郡为淮南郡，合肥县属淮南郡。
东晋时，南北分裂，合肥为双方争夺的重镇，县废。
    南朝宋置南豫州，于旧合肥县地置汝阴县。汝阴属南豫州南汝阴郡，为郡治。梁武帝天监五年（506年）改属汝阴郡。梁武帝普通七年（526年），以寿阳置豫州，汝阴为南豫州治。梁武帝太清元年（547年），置合州，汝阴属合州汝阴郡，为州、郡治。北周宣帝大成元年（579年），合州为北周占领。隋文帝开皇元年（581年），改汝阴县为合肥县，改合州为庐州，合肥属庐州，为州治。大业初，改庐州为庐江郡，合肥属庐江郡，为郡治。
唐高祖武德三年（620年），改庐江郡为庐州，合肥属庐州。唐太宗贞观元年（627年），置十道，合肥属淮南道庐州。唐玄宗天宝元年（742年），改庐州为庐江郡，合肥县属庐江郡。唐肃宗乾元元年（758年），又改庐江郡为庐州，合肥县属庐州。唐僖宗中和到唐昭宗天复年间（883年~902年），杨行密先后为扬州刺史和吴王，辖合肥。
    后梁到后唐（907年~936年），合肥县属吴国庐州，昭庆军节度。后晋到后汉（936年~950年），合肥县属南唐庐州，保信军节度。后周时（951年~960年），合肥县属后周庐州，保信军节度。
    北宋太宗淳化四年（993年），合肥县属淮南道庐州，为州治。宋太宗至道三年（997年），改道为路，合肥县属淮南路庐州，为州治。
    宋神宗熙宁五年（1072年），淮南路分东西两路，后并又分，合肥属淮南西路庐州，为州治。宋朝庐州属保信军节度。南宋高宗绍兴初，庐州寄治巢县。绍兴十年（1141），合肥为金朝占领，旋即收复。宋孝宗乾道五年（1169年），庐州仍治合肥。
    元世祖至元十四年（1277年），升庐州为庐州路，隶淮西江北道，合肥属淮西道庐州路。至元二十八年，合肥县属河南江北行省庐州路。元泰定二年（1325年），合肥县仍属淮西道庐州路。元顺帝至正十二年（1352年），合肥县复属河南江北行省庐州路。至正二十四年，朱元璋占庐州，改路为府，置江淮中书行省于此，合肥县属江淮行省庐州府，不久改属江浙行省庐州府，为府治。
明太祖洪武元年（1368年），合肥改属中书省直隶庐州府，为府治。洪武十三年，合肥改属六部直隶庐州府，为府治。明成祖永乐十八年（1420年）置南京直隶，合肥属南京直隶庐州府，为府治。
清朝顺治二年（1645年），改南京直隶为江南省，合肥县属江南省庐州府，为府治。顺治十八年，设江南左右布政使司，江南左布政使司辖庐州等府、州。清朝康熙六年（1664年），江南左布政使司改为安徽布政使司，安徽正式建省，合肥县属安徽省庐州府。清朝咸丰三年到十一年（1853年~1861年），安徽巡抚治于合肥县。
    民国元年（1912年），庐州府废，合肥县直属安徽省。民国3年，全省分为三道，合肥县属安庆道。民国17年，废道，合肥县直属安徽省。民国21年，置行政督察区，合肥县属安徽省第三行政督察区。民国27年（1938年）05月，日军侵占合肥县，国民政府将县政府撤至大潜山北麓鸽子笼圩子（今合肥肥西县铭传乡），民国34年08月复治合肥城。民国29年，合肥县改属安徽省第二行政督察区。
    1945年抗战胜利后，国民政府将安徽省省会迁至合肥县，合肥成为安徽省的省会。1948年12月，析、取合肥县西乡、南乡建立的肥西县；次年1949年02月01日再次析合肥县东乡、北乡为肥东县。1949年01月21日，合肥县和平解放，同年02月合肥设市。1952年，安徽省人民政府正式在合肥市成立。建国初期由于芜湖处于长江流域，水运发达等优势，当时的省政府官员也曾设想设立芜湖市为新省会，但毛主席谈及到安徽省会的选择时说“合肥，居皖之中，可为省会”。后合肥成为安徽省会。1965年由寿县、定远、肥东、肥西四县的边缘结合部划并而成现在的长丰县，该县也成为合肥市第一个市辖县。2011年08月地级巢湖市拆分，庐江县与县级巢湖市划归合肥市管辖。