商朝时期，这块土地上就丰存过郯、莒、费诸方国。周灭商后，鲁国和齐国是周王朝控制东方的重要支柱，临沂地域除分属齐、鲁等国琅琊故郡外。战国时期，域内诸封国先后为齐、楚所兼并，至战国末期，南部属楚，北部属齐。秦朝统一，地方实行郡县制，全国分为三十六郡，临沂地域属琅琊郡和郯郡。西汉时，郡国并行。临沂地域分属徐州之琅琊国、东海郡、城阳国和兖州之泰山郡。
东汉承西汉制度，分属徐州之利城郡、东海郡、琅琊郡、琅琊国和兖州之泰山郡、东莞郡、东安郡和城阳国。
    三国时期，属魏国。至魏末，分属东海国、琅琊国、东莞郡、泰山郡。
    西晋时期，分属徐州之琅琊国、东海郡、兰陵郡、东莞郡、兖州之泰山郡。晋室南渡后，地域先后属于后赵、东晋、前燕、后燕、南燕、前秦和北魏。隋朝分属沂州（琅琊郡）泗州（下邳郡）、密州（高州郡）、海州（东州郡）、徐州（彭城郡）。唐朝分属沂州（琅琊郡）、密州（高密郡）、徐州（彭城郡）。宋朝分属沂州（琅琊郡）、密州（高密郡）、淮郡军等。宋室南渡后，分属于金朝山东东路的沂州、莒州、邳州、泰安州。元朝分属兖州府和青州府。
    清初因之，清雍正十二年（1734年）升沂州为府，置附郭兰山县，降莒州为散州。属沂州府。有兰山、郯城、费县、沂水、蒙阴、日照、莒州6县1州。
中华民国成立后，废府撤州，实行省、道、县三级制。1913年撤销沂州府，改莒州为莒县。1914年分山东省为4道，改兰山县为临沂县，临沂地域分属济宁道和胶东道。1918年撤销。1936年划为山东省第三行政督察专员公署。
    抗日战争时期，这里是中国共产党创建的抗日根据地。1940年8月，在沂南县青驼寺成立山东省战时工作推行委员会。1943年9月改为山东省战时行政委员会。1 945年8月在莒南县大店镇成立山东省政府。
    解放战争时期，行政区划层次仍沿袭抗日战争时期，只是对区划作了某些调整。1948年7月，鲁中、鲁南、滨海三个行政区合并为鲁中南行政区，设鲁中南行政公署（驻临沂城），下辖7个专区，49个县。至1949年10月1日，临沂地域分属沂蒙、尼山、台枣、滨海4个专区。
    中华人民共和国成立后，继续对行政区划进行调整。1950年5月，鲁中南行政区撤销。以沂蒙专区为基础，成立沂水专区，辖9县。以滨海专区为基础，成立临沂专区，辖9县。1953年1月将原属临沂专区的赣榆、东海、邳县、新县海连市划归江苏省。1953年7月，沂水专区撤销，除日照县划归胶州专区外，所辖其余各县皆划归临沂专区，同时，原属滕县专区的平邑县亦并入 临沂专区。1956年3月，日照县划归临沂专区。至1961年4月，临沂专区辖临沂、郯城、苍山、临沭、莒南、沂南、沂水、沂源、蒙阴、平邑、费县、日照、莒县13个县市。1989年12月2日，国务院确定，沂源县划归淄博市管辖。1992年1月，莒县划归为日照市管辖。至此，临沂地区辖临沂、郯城、苍山、莒南、沂水、蒙阴、平邑、费县、沂南、临沭10个县市。1994年12月，国务院批准撤销临沂地区和县级临沂市，设立地级临沂市。原市级临沂市分为兰山、河东、罗庄3个县级行政区。地级临沂市辖兰山、罗庄、河东3区和郯城、苍山、莒南、沂水、沂南、平邑、费县、蒙阴、临沭9县。临沭9县。