距今1万年以前，阳江就已经有人类居住。秦始皇统一全国后，在岭南设置了桂林郡、南海郡、象郡，两阳（指阳江、阳春，下同）初属其中的南海郡。公元前111年（汉武帝元鼎六年）新设合浦郡高凉县，治所在今阳东县大八镇古城（另一说在麻汕上塘村）。高凉县包括今阳江市、恩平市西部、茂名、高州、电白、化州、吴川和罗定的部分地方。
东汉末，两阳属东吴统治范围。公元220年（东汉建安二十五年）孙权将高凉县从合浦郡分出，设高凉郡，由广州管辖。公元527年（南梁大通元年）高凉郡从广州分出，与杜陵郡、宁康郡、阳春郡等合设为高州。高州州治中心在今江城区（从公元527年至649年），辖今阳江市及茂名市的大部分地方。公元606年（隋炀帝大业二年）隋政权把安宁县、高凉县分出部分地方合成一个新县——阳江县。在原阳春郡中设阳春县。阳江县、阳春县从此得名。
公元649年（唐太宗贞观二十三年）阳江县、西平县、阳春县、杜陵县等从高州分出，建为恩州，属广州都督府管辖。恩州州治在阳江，从贞观年间唐太宗时建恩州起至洪武元年（1368年）朱元璋撤除恩州止，两阳被称呼为恩州达719年。此后两阳归肇庆府管辖。
公元1867年（清同治六年）阳江县升格为直隶州，下辖阳春、开平、恩平等县。公元1870年（同治九年）阳江直隶州改为直隶厅。公元1906年（光绪三十二年），阳江直隶厅再改为直隶州。公元1912年（民国元年）撤除州府，复设阳江县、阳春县。
中华人民共和国成立后，阳江、阳春属江门粤中专区；1953年改属粤西行署；1956年改属湛江专区；1958年冬，合阳江县、阳春县为两阳县；1961年复分为阳江县、阳春县。1983年9月为江门市属县。1988年2月10日，原阳江、阳春两县从江门市分出，新建为阳江市，属地级市建制。
阳江风筝（另称“阳江纸鹞”）、赛龙舟、唱山歌、拉地网、高留圩、东水古法造纸等都具有浓郁地方传统色彩的民俗风情。阳江是我国著名的风筝之乡，素称“北有潍坊，南有阳江”，阳江人放风筝已有1400多年的历史，每到重阳，场景十分壮观。阳江“灵芝”风筝列入世界风筝十绝之一。阳江人在端午节历来有赛龙舟的风俗，其逆水赛龙舟和海上龙舟独具特色。拉地网是阳江海边渔民一种传统的浅海捕鱼方式，充满渔家风情。阳春的“高留圩”历史悠久，每年农历五月初四这天，各式木器、竹器、藤编织品云集高留河滩，四面八方的人们纷纷来此选购。
阳江冼夫人生活于(南)梁、(南)陈、隋三个朝代，是我国闻名的俚族女首领，她一生致力于维护祖国统一和民族团结，反对叛乱掠夺和贪暴，高瞻远瞩，有勇有谋，是一位卓越的女政治家和军事首领，她保持了岭南一百一十余年的和平稳定，促进民族的融合和地方经济发展，周恩来总理曾称她是“我国历史上第一个巾帼英雄。”