香严寺位于柳林县城东部山腰，前有四十里冒气河环抱，后以万佛塔为倚背，满山苍松翠柏，寺院有七院十二殿，一百二十余间，建筑宏伟，为唐代所建，属离石境内八大官寺之一，传说为尉迟敬德督建。

唐时，唐王李世民得了一种怪病，整日恍恍惚惚，一闭眼，就听到神嚎鬼哭，向他喊冤索命。几经太医调治，终无起色，只有秦琼或尉迟敬德来问安时，才觉神情气爽。唐王就命这两位大臣轮流陪驾。时间一久，觉的这也不是个办法，总不能老让两位大臣陪着自己。魏征给出了个主意，让画工按二人的形貌画了两张像，挂在宫门上。说也怪，自从挂上像后，那些冤魂恶鬼再也没有来惊挠唐王。唐王心中高兴，便设宴招待文武大臣宴席间，大臣们上前参拜，祝贺唐王龙体康复，山呼万岁。唐王龙颜大悦说：“朕能病愈，全仗上天神佑，大唐社稷的宏福。不过，朕今细细思量，确有一事一直挂在心上。当年，为了我大唐江山，征南战北，鞍前马后，确实苦了不少将士，他们生时不能与家人团聚，死后鬼魂无所安落，朕有心先在山西之地修建几处寺院，做番水陆道场，超度那些亡灵幽魂早日升天。不知那位爱卿愿代朕督监此事”。老元勋尉迟敬德说：“万岁，当年正定府大佛寺是臣监造，这次臣愿代主督监”。唐王心想，不错，敬德有此经验，又是朔州人，当下，颁旨发下银两。命尉迟敬德带领宝林、宝庆、宝怀三个儿子和勘舆、营造、丹青工匠人等前往山西地界择地建造寺院。

老元勋带领这一行人马浩浩荡荡离了长安。一日，来到太原府，分成几路人马，到各处选择地形。一路人马西行，经汾州府。过黄芦岭，来到石州柳林地界，见这里山青水秀，土地肥沃，勘舆师更是兴致勃勃，山上山下连跑几趟，定罗盘、划分金排九星，分八门，判定为一方风水宝地。认为此处出龙凤之地。报给尉迟恭，尉迟恭也不敢造次，遂草奏章一本，速禀皇上，唐王天子不知如何是好，问大臣，大臣说了许多，都不能令唐王满意，最后，一位老臣说出一个满意办法，可解圣上之忧虑，若在该山顶兴建一座佛寺，一来了却万岁仁德善愿，再则可用寺院的晨钟暮鼓，僧众早晚课时的佛音，善化此灵脉。即使将来有将相君候由此出者，必为善者，定能造福於民，这岂不是我主又一荫德，一席话，听的众臣们连连点头称妙，听的唐王双眉舒展，愁云顿消。立即给尉迟敬德下诏一道，命尉迟敬德亲自督造，在山头修佛寺一座。不几习，诏书已到，敬德接旨后，传令西赴石州柳林督修寺院。到了柳林地界仔细一看，果然是一个好去处一心里想：昔日跟随刘武周时，虽在此地驻扎时间不短，可叹当时没能识得如此宝地，今日经风水看后方知其中的奥妙，我主真乃宏福齐天。忙叫军士传令下去，不许搅扰百姓，征用民夫者，公平领饷，所坏田苗地亩按价赔偿。因此，市民商贾，妇儒老幼，各个欢喜，人人齐心协力，修建寺院仅数月，一座雄伟壮观的寺院屹立在山阜之处。寺院修造完毕后，取名阁则寺，寺内香火旺盛，僧侣众多。

到了贞元年间，德宗皇帝又赐了一块香严寺的匾额。从此，香严寺的寺名也就一直沿传下来。后来，人们又在寺后高丘处，修了一座万佛塔，希望更能得到佛的佑护。也就形成了如今看到的山前寺院，寺后佛塔，与清河水、凤翅山交相辉映的壮丽景观。

如今的香严寺匾额，是后人临摹之物，寺内殿宇，虽为金、元重建的构筑，但人们还是忘不了督造香严寺的尉迟敬德。