1860年，清政府开始对东北地区局部解禁。1881年，清政府开放了宁古塔管辖下的铁岭河，1904年，牡丹江流域全部开禁，大批汉族人进入了这一地区。
到了二十世纪初，今天的牡丹江市还是一片人烟稀少、土地荒芜的地区，当时的
老太平路
老太平路
地图记载这一带叫“黄花甸子”，因有大片黄花点缀于草地上而得名，仅有四、五户人家分散居住，属于宁安第五区管辖。1903年，沙俄修筑的中东铁路在牡丹江沿岸修建了一座车站，因车站南临牡丹江，便为车站命名为牡丹江车站，这便是今日牡丹江的雏形。从此，人口不断增加，牡丹江站开始迅速发展。
1907年，清政府将东三省将军制改为行省制，牡丹江境域属吉林省宁安府管辖。民国初年，牡丹江地域沿袭清制，仍归吉林管辖。
1932年5月，日本侵略军占领牡丹江站等地，1937年1月，成立伪牡丹江省公署，辖宁安、穆棱、东宁、密山、虎林五县。同年12月1日，正式成立伪牡丹江市公署，当时的牡丹江省共辖5县1市，省会设在牡丹江。
1945年8月14日，苏联红军进驻牡丹江。日本侵略者败退，伪
牡丹江老汽车站（现文化广场）
牡丹江老汽车站（现文化广场）
东满省公署和牡丹江市公署同时解体。同年8月18日，在苏联红军的帮助下，成立了牡丹江市地方治安维持会。受东北党委员会派抗联干部20余人进入牡丹江市，建立了牡丹江卫戍司令部，维持刚解放的地方治安。1945年10月14日，在中共领导下的民主政府成立，军区司令员李荆璞担任市长。随后延安干部团团长张闻天等高级干部陆续到达牡丹江市，张闻天同志以中共中央东北及驻牡丹江地区代表的身份，指挥和领导了这里的工作。