旧有四门:东谓安政门，南叫明德门，西为清波门，北称拱宸门。东北水阙门、沿江隆礼门(水门码头)以及柳家码头、朱家码头等三处便门，则于明代增辟。

因历遭战祸，年久失修，古城城墙已大部毁圮。现在沿江尚存的600余米城墙为明正德七年(1512)重筑，其余则为1995年重修，依稀还可领略兰溪古城的独特风貌。

西门城楼兰溪古城旧有南、西、北三座城楼，均始筑于明正德七年(1512)。至抗战时期(1939)为防空袭，便于疏散人员，南、北门城楼随东、南两面的城墙一同拆除，西门城楼，则因西面沿江城墙作防洪护岸未拆，而得以保留作悬钟报警之用。

1985年，西门城楼倒坍。现有西门城楼，于1995年重建。主楼2层，依江而立，气势雄伟，为登临揽胜的佳处。