会文书院位于南雁荡山东西洞景区，温州古代书院今唯此书院整体保存较完好。它初建于北宋，为大观三年进士陈经邦及其兄弟陈经正读书的地方。陈氏兄弟受业于程颐、程颢，回乡办学，开浙江理学之先河。会文书院的创建，改变了平阳一地的学风，南雁也成为浙南重要的学术中心之一。南宋学者朱熹曾于此讲学，成为美谈。
    会文书院曾废圮，仅存旧址。，邑人陈承绂、周启良倡捐重建，邑令汤肇熙捐俸劝置田产，以助膏火。它作为平阳传统文化的缩影，1986年被列入县级文物保护单位，2003年推荐申报第五批省级文物保护单位，而后又被列为县级爱国主义教育基地。

   书院门口是瑞安清代太仆射侍卿孙依言撰写的楹联：“伊洛微言持敬始，永嘉前辈读书多。”楼前有洞底花坛，四季繁花似锦。前人有诗赞曰：“翠碧丹岩带夕辉，云中鸾鹤正飞翚。会文书院依然在，冽贤名山不忍归。”
   题额与对联“伊洛微言持敬始，永嘉前辈读书多”，皆系清末学者孙衣言手笔。这里曾是浙南儒学传播重要处所，近世温州工商业发展迅速，形成举世闻名的“温州模式”，而以儒学为代表的国学发展却不如经济。
   近旁有听诗叟、洗砚池，摩崖石刻“雁荡第一泉”等景点。听诗叟在会文书院东大门外，站在辉萼院前抬头向左看，便见一块高约二三米，像正在聆听吟哦老人的怪石，这就是“听诗叟”，跟北雁的“听涛叟”相映成趣。清人华栋有诗云；“此叟善听诗，长向路边峙。过此不敢吟，听之恐洗耳。” 清光绪重建。晚清学者孙衣言题额与对联，联云：“伊洛微言持敬始，永嘉前辈读书多。”今尚存。 上联中“伊洛”原系伊河、洛河，这里是指两河流域所孕育的以程颐、程颢、朱熹等为代表的理学学派。“微言”为“微言大义”之意。“持敬”二字，作“心无杂念、毕恭毕敬”解，有这样的心态是探究理学的前提。
   下联中“永嘉前辈”，指南宋的薛季宣、陈傅良、叶适等永嘉学派代表人物。该联原是孙氏《题会文书院》诗的颈联。《题会文书院》全诗为：
                  兄弟同时奋薜萝，北方千里就磨磋。
                  遂为浙学文斯在，直到横阳士尚峨。
                  伊洛微言持敬始，永嘉前辈读书多。
                  荆榛重辟宗风远，莫但比邻听酒歌。