肥东历史悠久，从已查明的古村落遗址看，早在新石器时期就有人类在此劳作生息。夏商时，本地为淮夷之地。秦始皇二十六年（公元前221年），废分封，立郡县，肥东地区属九江郡。汉武帝时，肥东大部分地区为浚遒县境，县治在今石塘镇境内龙城集。三国时期浚遒属魏扬州淮南郡，后期撤浚遒。西晋武帝太康元年（280年），恢复浚遒县，改“浚”为“逡”，仍属扬州淮南郡。南朝宋武帝年间废逡遒。永初三年（422年），将颖上西北的慎县侨置于原逡遒境，县治在今梁园，属南豫州南汝阴郡。南宋绍兴三十二年（1162年），因避孝宗皇帝赵昚讳，慎县改为梁县。明洪武初年，梁县并入合肥县，属中书省直隶庐州府，合肥为府治。洪武十三年（1381年），合肥县改属六部直隶庐州府。中华民国元年（1912年），废庐州府，合肥县直属安徽省。27年（1938年）5月，日军侵占合肥县城，县政府撤至大潜山北麓鸽子笼圩子（今肥西县铭传乡），在梁园设肥东办事处，辖今肥东县的全境。1949年1月21日，合肥县解放，2月1日析合肥县为合肥市和肥东、肥西两县，因本县位于合肥市之东，故名肥东。属江淮解放区第五行政区。中华人民共和国成立后，肥东先后属皖北行署巢湖、滁县专区。1952年安徽省人民政府成立后，肥东分属滁县专区和蚌埠专区及合肥市。1961年4月后又先后属滁县和巢湖专区。1983年7月复归合肥市管辖。

肥东县还涌现了一大批历史名人：包拯，中国北宋名臣，以清廉著称。吴复，明代开国大将，安陆侯。张德胜，明代开国大将，蔡国公。李鸿章，清代直隶总督北洋通商大臣、掌握清末外交军事经济大权，等等。