东汉末年，国力暗弱，匈奴贵族势力逐渐南移，到晋朝初，并州的大部分地区被匈奴占据，仅剩晋阳附近的一些属县。尤其是到公元 304年，匈奴首领刘渊在左国城（今离石市）建都，自称汉王。他分别占据高平、屯留、平遥、介休等地，矛头指向晋阳。晋阳人民在并州刺史刘琨领导下，抵御匈奴入侵，坚持长达 9年的喋血保卫战。当时的太原一带，逃亡剩下的户不满 2万，人民饥荒，寇贼纵横，道路断塞，一片荒凉。刘琨失败后，在公元316年至396年的80年间，太原地区曾被当时称为“五胡”的匈奴、羯、鲜卑、氏、羌等少数民族创建的后赵、前燕、前秦、西燕、后燕交替攻占。太原人民长期处于兵荒马乱之中，遭受了数不清的灾难。

二、第二个兴衰期大体为公元523年至979年，称“霸府”晋阳复兴，经隋唐辉煌鼎盛；平北汉宋毁古城。

公元 396年，北魏王拓跋攻占晋阳，置并州。公元 523年，高欢（又名贺六浑）掌握了北魏实权，他依据晋阳地形险要，城池坚固的优势，建立了大丞相府，有力地控制了北魏实权，称晋阳为“霸府”。公元 550年高欢的儿子高洋夺取了东魏政权，自立为帝，历史上称北齐，都城虽然设在邺（今河北临漳县），但仍以晋阳为基地，亦称为“别都”。由于高氏父子对晋阳有感情，十分重视对晋阳的修建。公元 545年，高欢在晋阳修了晋阳宫；576年后主高纬修建了大明殿；577年幼主高恒修建了晋阳十二院，其壮观程度超过了邺城的皇宫。北齐统治为了游览还在晋祠修筑了读书台、望川亭、鱼沼、飞梁及“善利”、“难老”两个泉亭。与此同时，还在晋阳西山的天龙山和龙山修建了天龙寺、童子寺和法华寺，依山凿窟，雕刻石佛。这就是保存至今的天龙山石窟艺术的最早开凿。这个时期，太原市的农业、商业也得到恢复发展。晋阳城内商业兴盛、市面繁荣，成了北齐的主要商埠。