西山庙始建于明嘉靖二十年（1541年），历代均有修葺拓建而成今貌。整个建筑群生向东北，依山构筑。面积约6000平方米。依次为山门、石阶、前殿、正殿、偏殿、香亭、廊庑等。
远观层次分明，典雅庄严。山门外立面为三楼三间的砖石牌坊。脊顶通饰日神、月神、和合二仙、鳌鱼、双龙戏珠等题材的石湾瓷脊。其余门额、墀头等处砖雕亦十分精美。进人山门后，驻足仰望，殿阁辉煌，彩瓦飞檐隐现于绿叶丛中。石阶左侧有“玉泉”小景观，潺潺流水，曲径通幽，殿前平台的巨榕，叶茂枝繁，浓荫匝地。　　西山庙前座为大门与前殿连体,正面成阙门式样,三门并列,高大轩敞。阙门两侧为左右衢门,原有磴道通后山。后座为正殿,矗立在数十级宽阔的石阶之上。庙里庙外多砖雕、灰塑、壁画及彩陶塑像

西山庙于1985年夏，由县人民政府拨款重修，并确定将顺德博物馆迁于其上，1987年开放以来，西山古建群体的典雅风姿，历史文物展览的丰富内涵，相得益彰，吸引了一批批慕名而来的海内外游客，最多的一天，光港澳台胞、华侨、外宾旅游团就达100多个，成为县内外著名的文化旅游热点。

1957年，县人民委员会行文定为文物古迹。1991年5月，县人民政府在公布“顺德县第一批文物保护单位名单”时，西山古建群体被重新公布为县文物保护单位。