晋代，赤城属幽州广宁郡下洛县的北境。广宁郡（郡治为今涿鹿县境）之前属上谷，太康年间设郡都尉坐镇，统领三个县：下洛、潘、涿鹿。晋愍帝建兴二年（314年），石勒（十六国时后赵的皇帝，公元319至333年在位。）偷袭幽州杀刺史王浚，以刘翰代理幽州长官。刘翰便把这一带地方归给段匹磾，这是晋代广宁郡、县沦陷的开始。到晋成帝（东晋皇帝司马衍，公元325年至338年在位）咸康四年（338年），前燕王慕容皝（十六国时前燕国君），后赵的石虎（后赵王），打败了段匹磾，辽的地盘于是归了后赵。前燕慕容皝又打败了后赵，幽州的土地又归了前燕。前秦符坚灭掉前燕，等到符洛北伐什羽犍（北魏拓跋珪之孙），该地又归了前秦。之后又归了后燕慕容垂。到晋孝武帝（司马矅）太元二十一年（396年），北魏王拓跋珪向南攻打刘亢埿，该地才全属北魏所有。此时龙关与赤城一样，于铁蹄和硝烟中，城头也在不断变换着王者的旗帜。正如《龙关县志》上说的：龙关地自晋愍帝始，为石勒所袭，转归段匹磾，匹磾亦为鲜卑种。历后赵、慕容、符秦、后燕、拓跋魏诸胡，相互窃据，而后此之蹂躏割弃，日骎骎（马走的很快的样子，比喻战事变化的快）矣。《易》（《周易》）曰：“履霜坚冰至”。夫五胡（即后赵、慕容、符秦、后燕、拓跋魏）之乱，始于建安中，听其部落散居六郡，遂至渐次猖獗。履霜之戒，惟洗马江统（洗马，官名；江统，西晋人，曾任太子洗马之官。其写了一篇《徙戎论》劝皇上停止外族向内地迁徙，未听）之论最为切要，而说不能行。