Sep, 2023
随机 LLMs 不理解语言：朝向基于符号、可解释和本体论的 LLMs
Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs
Walid S. Saba
TL;DR对于数据驱动的大型语言模型（LLM）的相对成功，我们认为有一些误解，因为（i）LLM 不能依赖于事实信息，因为对于 LLM 来说，所有输入的文本（事实性或非事实性）在权重上都是一样的；（ii）由于 LLM 的子符号本质，这些模型对语言的所谓 ' 知识 ' 总是淹没在亿万微观特征（权重）中的，这些特征本身都没有意义；以及（iii）在几种语言环境中，LLM 经常无法进行正确推断（例如，名词复合物、共述、量词作用域的歧视、意向性语境）。我们认为数据驱动的大型语言模型（LLM）的相对成功不是象征性与子符号性辩论的反映，而是在规模上应用自下而上的逆向工程语言的成功策略的反映，因此我们在本文中建议在符号设置中应用有效的自下而上策略，从而实现符号化的、可解释的和本体论基础的语言模型。