汶上县夏商时称劂国，周初名郡国，春秋为中都，战国称平陆，汉改东平陆，后齐称乐平，隋复称平陆，唐天宝元年复称中都金贞年改称汶阳。汶上作为专用地名始于金泰和八年(1 20日年)， 因地处汶水之滨而得名。 有人疑问汶上之名，说汶上在汶水下游，何以名汶上，汶上取名不外乎两个方面，一是汶上地处汶水下游。下字是不吉利的字眼，即使有下人们也不说下。 因此就出现了汶上之名。

 今汶上县境内约在15000年前，即有华夏先民在此繁衍聚居。位于城东3千米的东贾柏遗址，是济宁境内已发现的最早的新时器时代人类文化遗址，距今约7000年左右，是北辛文化的重要代表，属于原始社会母系氏族公社的发展阶段。
至商代，境内置厥国。周代，先后置郕国，中都邑、阚邑，周武王封同母弟叔武于郕，公元前501年，鲁“定公以孔子为中都宰“。战国时，齐置平陆邑。
秦统一中国，行郡县制，县境内约分属薛郡的张县（治邑在今东平县霍庄）、无盐县（治邑在今东平县无盐村）。
汉宣帝甘露二年（前52年）前后，境内始置东平陆县，隶属兖州东平国。此为汶上建县之始。
三国魏晋，今县境统属兖州东平国（郡）东平陆县。南朝时改称平陆县、乐平县。随初仍称平陆县。
唐天宝元年（742）三月，改称中都县，移县城于今治。
金贞元元年（1153年）更名汶阳县。金泰和八年（1208年），取”汶水在上（北）”之意，更名汶上县，此为“汶上”专用地名之始，沿用至今。
疆域：
明万历年间，汶上境域，北至东平界沙河站村，东至宁阳县界西梳村，南至济宁州界康庄驿，西至郓城县界肖皮口，西北至安山西面的张博士集（今属梁山县），西南至孟姑集以西申家海（今属嘉祥县），东南至南唐阳，东北至琵琶山。最大横距75公里，最大纵距35公里。此县界明清时稳定时间较长，境域也较大，约为今县境的2.5倍。
民国时期，全县面积1380平方公里，为山东省较大县之一，曾有“一滕二曹三汶上"之说。
现在，全且面积877平方公里，南北最大纵距58公里，东西最大横距35公里，东临兖州、宁阳，西连梁山、嘉祥，南与济宁市任城区接壤，北枕大运河,与肥城、东平相望。