陈少白故居位于江门市外海街道南华里1号，近代建筑，分为两处，隔河相望，以“白桥”连为一体， 分别为“莎萝坪”和“白园”，白园右侧有一池塘， 故居总占地面积约4000平方米。

白园为一座封闭式院落，因所有建筑物的梁架和封板以及内墙皆漆以白色，

陈少白故居宅内
故名白园。此处为陈少白先生主要的起居之所，由其父陈子桥先生始建，1927-1932年两次重修，成今天所见布局，总占地面积约1040平方米。白园设前门、后门和侧门，各门两侧均有用以防御的枪眼；院内左侧为起居室，建有阁楼，底层长度35米，宽4米，阁楼长度16米，宽4米；右侧建有“亚字楼”，为故居的主楼，长8.4米，宽7米，青砖水泥砌建，楼高二层，在二楼前有一小阳台，可俯览整个白园之风光，亚字楼是陈少白闲居乡里时，主要的起居之所。现在二楼的房间内，还保留有一张陈少白睡过的酸枝木大床。亚字楼的后面建筑分别为厕所、浴室及厨房；
故居的后面是一座仿古建筑，面宽进深各三间、硬山顶、四柱、硬山搁檩；面宽约18米，进深5米，在这座建筑的左前方，有一棵米兰树，树干的直径约有13厘米，是陈少白亲手所栽，可惜于1987年4月枯萎。院内所有建筑皆以檐廊连接。在陈少白故居的门前，有一座陈少白于1934年春兴建的水泥砌筑石桥，称为“白桥”，白桥与莎萝坪相通。莎萝坪既接故居，又临田野，门前流水，屋边鱼塘，树木婆娑，池台倒影，环境清幽。
陈少白十分喜爱莎萝坪，间居乡里，多在此度过，晨起或练拳，或理花。
陈少白曾亲笔书的对联“如此生涯十亩桑田百为稻，是真风水三分东北二分南”，立于莎萝坪外面。莎萝坪内建有单层带天面平台建筑，名“瞻云台”，园内有六柱六角亭，内置铁锅，名“粥锅亭”，该锅曾为陈少白被清兵追捕时隐身之所。 池塘紧贴白园左侧，西面为民居，池塘周边砌筑石基以作保护，北面和东面用青砖砌筑花圃，塘内遍植荷花。
陈少白逝世后，其后人多旅居外地，故居楼宇日久失修，渐显颓败。1950年以后陈少白故居曾归外海的当地政府管理，作为外海的敬老院和卫生院。1983年开展全国第二次文物普查时，陈少白故居被定为江门市文物点，1997年江门市政府将陈少白故居辟为陈少白纪念馆并移交市文化局属下的博物馆管理，1995年列为江门市爱国主义教育基地，1998年公布为市级文物保护单位，2002年公布为广东省文物保护单位。