少林寺，又名僧人寺，有“禅宗祖廷，天下第一名刹”之誉，是中国汉传佛教禅宗祖庭，与白马寺、相国寺、风穴寺一道，被称为“中原四大名寺”。始建于495年（北魏太和十九年）。32年后，印度名僧菩提达摩来到少林寺传授禅法，敕就少室山为佛陀立寺，供给衣食。此后寺院逐渐扩大，僧徒日益增多，少林寺声名大振。达摩被称为中国佛教禅宗的初祖，少林寺称为禅宗的祖庭。
北魏太和十九年（公元495年），孝文帝为了安置他所敬仰的印度高僧跋陀，在嵩山少室山北麓敕建少林寺北魏正始五年（公元508年）开始，印度高僧勒拿摩提、菩提流支、菩提达摩先后来到少林寺，开辟译场，有力地推动了北方禅学的发展，少林寺成为当时佛学重镇。
隋朝大兴佛教，敕令复少林之名，赐柏谷坞良田百顷，成为北方一大禅寺。唐初秦王李世民消灭王世充割据势力时，曾得寺僧援助，少林武僧遂名闻遐迩。高宗及武则天亦常驾临该寺，封赏优厚。会昌年间，唐武宗禁佛，寺大半被毁，迄唐末五代，寺渐衰颓唐弘道元年（公元683年），法如禅师、慧安、灵运、同光等皆驻锡少林寺。新罗国僧慧昭于元和五年（公元810年）入少林寺习禅多年，公元八三零年回国建玉泉寺，圆寂后谥号“真鉴国师”。进入宋朝以后（公元10世纪），少林寺开始成为禅宗教派的朝圣地。
1312年(元皇庆元年)，世祖命福裕和尚住持少林，封赠为大司空开府仪同三司，统领嵩山所有寺院。一时中外僧众云集，演武礼佛，僧众常有2000人左右。元末农民起义，红巾军至少林，僧众散逃。明代先後有八位皇子到寺内出家，屡次诏令大修，寺院规模有所发展。据明万历九年（1581年）王士性《嵩游记》，此时少林寺僧人达到“八百余僧”规模。
清代诸帝亦关心少林寺，或亲书匾额，或巡游寺宇。乾隆十五年（1750年），乾隆皇帝亲临少林寺，夜宿方丈室，并亲笔题诗立碑。少林寺僧人白天照常经课坐禅，夜间坚持在少林寺最隐蔽的后殿——千佛殿，习武不辍，以至大殿地面因长期练功发力形成陷坑，至今遗迹仍存。从清朝白衣殿壁画和文献记载，少林功夫在清朝以来，仍维持着很高的水平。
1928年军阀混战，军阀石友三火烧少林寺，把天王殿、大雄殿、法堂和钟楼等建筑被毁于一炬，许多珍贵的藏经、寺志、拳谱等烧成灰烬。
1982年后，国家为方便中外文化交流对少林寺进行了大规模修复重建，现已形成以山门、天王殿、大雄殿、藏经阁、方丈室、立雪亭、西方圣人殿为主题的嵩山少林建筑群，使千年古刹焕发出新的光彩。