它是明代为防御倭寇侵扰而构筑的海防工事之一，是抗倭名将戚继光报国杀敌、屡建奇功的地方，也是目前浙江省所保存的较为完整的所城遗址。
这是一座土筑泥垒呈正方形的古城。城不大，从城中心到四方城墙距离均为240丈，城外有护城河团团围护。随着岁月的流逝，城内原有一些建筑早已面目全非，但遗留的老宅，高大的风火墙，青灰色的屋脊，巷陌里布满苔藓的青砖以及撒布其间的小河、池塘和方井，依然保持着古老而独特的风韵。
据有关记载，明洪武二十年（1387年），信国公汤和选址所城。永乐十六年（1418年），指挥谷祥增建东、西、南三门。再将城墙增高至2丈5尺，宽2丈，环置敌楼警铺，密布雉堞，横架吊桥。当时城里驻扎着1000多官兵。
龙山所城因为与戚继光的名字连在一起而彪炳千古。明嘉靖三十五年（1556年）秋，倭寇猖獗进犯东南沿海，年仅19岁的戚继光以浙江宁绍台三府参将的身份率军进驻城内，多次在附近的雁门岭一带与倭寇浴血奋战，最后全歼来敌，大振国威。