云门寺由文偃禅师创建于五代后唐。庄宗同光元年癸未（公元923年），时年60岁的文偃经奏准南汉王同意由原驻锡地灵树移庵，领众开创云门山，他“因高就远，审地为基”，创建梵宇，经历5年而告功竣。据云门山志记载，寺观建成之后，“闻风向道者，云来四表，拥锡衣止者，恒逾半千”。文偃禅师开示法语，立章传道，并在此创立“云门宗”。 南汉白龙三年（公元927年），南汉王敕封该寺为“光泰禅院”，后又敕改为“证真禅寺”。至南汉大宝六年（公元963年），又敕改为“大觉禅寺”，此名一直沿用至今，因该寺座落在云门山下，故世人习惯称之为“云门寺”。

据记载，云门寺创建以後的一千多年间，历代住持高僧在宋代有绍资，明代有了偈、法浩、法传等。在各位高僧大德的住持下，云门寺经历了多次的修葺和重建。

云门寺曾经几度兴衰，历经苍桑。其鼎盛至北宋时期，但南宋以来则逐渐衰微，至明清以后特别是抗日战争后期已到了破败境地。法号虚云的和尚在完成南华寺的重修工程后，于1943年12月在李汉魂、李济深和邹洪的支持下，移锡云门，在当时抗战困难重重的情况下，昼夜操劳，历时9年，完成了云门寺的重建工作，一时宗风大振。

到了民国年间，云门寺已逐渐衰。当时住持南华寺的虚云老和尚目睹祖庭沦落，发愿重修。民国三十二年(1943年)在李济深、李汉魏、邹洪等诸大居士的护持下，虚云和尚移锡云门，不分寒暑，昼夜辛勤，历时九年，终於使祖庭重光。一时出现了僧众云集，宗风大振的局面。

文革期间，云门寺建遭到空前浩劫，佛像被毁，经书被焚，僧人被赶出山门，梵宇变成了五七干校，殿堂渐渐荒废不堪。“文革”结束後，宗教政策得到落实，云门寺作为全国著名寺院和重点文物保护单位受到国家和政府的关注。在当地政府部门和四众弟子的一致敦请下，佛源大和尚从北京回到云门，开始了艰辛的重建工作。经过几年的勤苦经营，云门寺基本上恢复了旧日的规模。

“文化大革命”期间给云门寺带来毁灭性的打击，使其僧去寺残，难于馨述。幸得党的十一届三中全会，使党的宗教政策得以落实，1983年4月9日，国务院确定云门寺为全国重点保护的寺观之一。1982年虚云老和尚的法嗣弟子佛源大和尚，从北京重回云门，肩负起恢复和振兴祖庭的重任，在政府和海内外四众弟子的支持下，历经艰辛，终于将云门祖庭重建重修，面貌一新。