今犍为县地，秦时属蜀郡。自汉至隋，大部分时间隶于犍为郡。
汉武帝建元六年（前135年），开“西南夷”，置犍为郡。郡治鄨（今贵州省遵义市西）。元光五年（前130年），郡治移南广（今云南省盐津县东）。汉昭帝始元元年（前86年），移治僰道（今宜宾市），后移至武阳（今彭山县境）。犍为郡初领县十二，即僰道、江阳、武阳、南安、资中、符县、牛鞞、南广、朱提、存阝马阝、堂瑯、汉阳（见《华阳国志》、《汉书·地理志》）。今犍为县地当时隶于南安县（治所今乐山市市中区）。
南齐时，犍为郡治由武阳迁僰道，仍辖南安、冶官等县（见《齐书》）。今犍为县地属南安、冶官等地。至永元二年（500年），废冶官县，县地仍属南安。
梁武帝大同十年（544年），改僰道为戎州（治所今宜宾市），辖今犍为县地（见《梁书·地理志》）。
北周武帝保定三年（563年），在原南安县境设置沉犀郡，立武阳县（见《北周书》）。这是今县境置县政权的开始。郡、县治均在今犍为县境（见《隋书》、《太平寰宇记》、《元和郡县图志》）。
隋文帝开皇三年（583年），废北周所置沉犀郡，改武阳县为犍为县，属戎州，这是今县境称犍为县之始。县治所在今治东南十五里。据《元和志》载：“西北至（嘉）州一百五十六里”，“大江、在县西十步”，“大鹿山，在县北一里”，“沉犀故城，在县东南三里”。据此，当在今河口对岸之宝乘寺地带，现为孝姑乡永平村境。炀帝大业十一年（615年），治所未变，并分出北部县地设置玉津县，以江有璧玉津得名。治所在县北九十里之冠英场（见《清一统志》）。同年，复置冶官县，今县地东北部属之。
唐高祖武德元年（618年），犍为县属戎州，高宗上元元年（674年），改属嘉州。玄宗天宝元年（742年）改嘉州为犍为郡。肃宗乾元元年（758年），犍为郡复为嘉州，犍为县均先后隶之，治所未变（《旧唐书·地理志》）。乾元元年之后，再无犍为郡，只有犍为县了。
后蜀明德三年（936年），铁山僚族攻城，犍为县治由岷江东岸迁至西岸。“县南临大江”，“在州东南一百二十里”，其地当在今犍为治所（见《寰宇记》、《清一统志》）。
北宋初，犍为县仍隶嘉州。太祖乾德四年（966年），废玉津县为镇，并入犍为县。真宗大中祥符四年（1011年），县治所移惩非镇（见《宋史·地理志》），其地即今清溪镇。南宋宁宗庆元二年（1196年），犍为县属嘉定府。
元世祖至元十三年（1276年），嘉定府置总管府。属四川行中书省。领县七，犍为即其一。至元二十年（1283年）升嘉定府为嘉定府路，省冶官县元代犍为县治《元史·地理志》失载，但据《明史·地理志》所记可以推知，县治在玉津镇（今五通区冠英乡）。
明太祖洪武四年（1371年），改嘉定府路为嘉定府。洪武九年（1376年），降嘉定府为州，直隶四川布政使司，领县六，犍为即其一。洪武中，县治从玉津镇（在今五通区冠英乡）迁惩非镇（见《明史·地理志》）。后又移治今县城玉津镇。
清初，州县依旧。雍正十二年（1734年）升嘉定州为府。犍为县属嘉定府，治所未变。
民国元年，废道制，府、州、厅由省直辖。置县公署，设县知事。犍为县仍属嘉定府，县治在今玉津镇。
民国2年，划全省为七道。将府、州、厅一律改称为县，以道辖县。犍为县属上川南道。
民国3年，改上川南道为建昌道，犍为县属建昌道。
民国19年，撤销道制，以省辖县，犍为县直属四川省。
民国24年，划全省为18个行政督察区，另设西康行政督察区。犍为县属第五行政督察区。直至民国38年，犍为隶属未变。
中华人民共和国成立后，1950年将四川划为川东、川南、川西、川北四个行政公署，行署下设专区，犍为县属川南行政公署乐山专区。
1953年撤销行署，成立四川省，省以下仍设专区。犍为县属乐山专区。
1968年，专区改称地区，犍为县属乐山地区。
1985年5月，撤销乐山地区，改为乐山市，犍为县属乐山市。