南山寺建于唐贞观十三年，是年唐太宗驾幸亲莅，钦差鄂国公尉迟敬德监造督修。全寺占地二千五百平方丈，楼台殿宇，金碧辉煌。

灵泉以北是山门，上有匾书曰《敕建灵泉古刹》，有殿三楹(间)，里边塑有天王，两旁建有钟、鼓二楼。寺院内建有关帝殿三楹(间)，两厢各有十二楹，都塑有诸神像群，各俱神态、栩栩如生。里边还有历代名人题词咏叹，其中有一首为：“翠柏森森野寺籀，隋唐遗业尽山秋；门前一点灵泉发，独对黄河万古流”。

寺院中心有高出地面三尺，面积为六十二方丈的大平台，上面建有正殿五楹，匾曰：“西晋第一丛林”。正殿完全模仿北京金銮宝殿建造，九檩八达。正殿以北为后院，正中有九孔窑洞，窑洞上面有楼房九间。东西厢房各有九间，东面为僧舍，西面为客堂。

灵泉以东回折而上，依次为“观音殿”、“圣母殿”、“普慧院”；南为：“友云亭”、“古佛殿”；西南为“祖师堂”。再往东是“灵泉别院”。

寺门外的灵泉，砌石成井，水由龙口吐出，名曰：“八角琉璃龙井”，其水清澈如玉，又有“灵泉寒玉”之称。此泉常年流淌，取之不尽，用之不竭。井旁有左纹古柏树一株，粗约五围，静若龙蟠，动如鹤迁，终年碧绿，荫覆龙泉。整个南山寺上上下下，曲径纡栏，环境清雅。俯视黄河，波涛汹涌，一泻千里；北望孟门，屋舍比栉，烟雾缭绕；寺院四周，翠柏苍松，郁郁葱葱；真是人间仙境，美不胜收。

南山寺曾在乾隆四十六年（1781年）五月遭遇火灾。后来于嘉庆二十二年（1816年）重修。昔人曾把它的胜景归列为十大景观：

黄河晚度：寺临黄河，北望数十里，奔涌而来，岸上舟人，晚跳如画。
孟门烟雨：寺在镇南，据河东 ， 园树连绵，早晚有霞光普照。
翠柏云屏：寺座山 ，其下古柏成林，环绕回 。望之如屏
东流环碧：东溪山涧，有五十余里，盘折西流绕寺，寺树映之如碧。
灵泉吐玉：山涧泉水，清冽如玉，相传金大定时，土人引水灌田，有嘉禾合颖之祥，因名曰灵。
钟锭神文：寺有钟，有横文下裂。相传原纹曾阔可容手指，今深合仅存线痕。
深林玉带：寺柏阴森密布，步入森林，从林间极眺，黄河碧波碎映如 带然。
秋鸟归山：寺有茂树插天，每深秋游白腹鸦，群飞栖集，经冬至春始去，岁有常期。
端阳华信：殿前蜀葵花一本五色，开期常以五月五日，岁无先后。
柏抱莲盆：山巅古柏一株，披枝下垂近地，拳曲而上，枝叶葱茏，形似莲盆状。