大型语言模型中的意义和理解
对于 LLMs 的研究表明它们具有语义基础和生成文本的意义理解能力,并且通过应用心灵哲学和语言的含义理论的核心假设,发现 LLMs 在功能性、社会性和因果性的语义基础中都呈现基本证据,并发展出世界模型。因此,LLMs 并非随机模仿者或语义僵尸,而至少在初级情况下已经理解了它们所生成的语言。
Feb, 2024
本文讨论大型语言模型是否存在人类概念或含义,并指出语言模型可能捕捉了重要的含义方面,这符合人类认知的合理解释。由于概念角色由内部表示状态之间的关系定义,因此含义不能从模型的体系结构,训练数据或目标函数中确定,而只能通过研究其内部状态之间的关系来确定。
Aug, 2022
当前大型语言模型(LLMs)在生成符合语法、流畅的文本方面无与伦比。这篇论文针对 LLMs 的能力进行了辩论,并通过批判性评估三个经常在批评中出现的观点来展示 LLMs 仍需更多细化。其次,文章从实证和理论的角度提出了对 LLMs 中 “真正” 的理解和意向性的实用观点,并讨论了在何种情况下将心理状态归因于 LLMs 对于这一日益重要的技术在社会中具有实用的哲学背景。
Oct, 2023
通过创新构建一个包含细粒度和跨语言维度的词汇语义理解数据集,本研究揭示了大语言模型在基本词汇意义理解任务上的性能不佳,甚至落后于 16 岁的人类 3.9% 和 22.3% 分别。这突显了其关键不足,并激发了进一步研究和开发更智能的大语言模型的新见解。
May, 2024
研究人工智能中对大规模预训练语言模型是否在任何重要意义上可以称为 “理解” 语言,以及对应的关键问题和新的智能领域的发展。提出一种新的智能科学来提供关于知识的不同模式,以及它们的优势和限制,以及融合不同形式认知的挑战的见解。
Oct, 2022
自然语言处理领域对于意义和测量的问题进行了实证研究,本文勾勒了一种理解模型,用于评估当前模型质量测量方法的适应性,并指出不同语言使用情境类型的特点、语言理解是多方面现象,以及理解指标的选择标志了对基准测试和语言处理伦理的考虑的开端。
Oct, 2023
通过语法学习角度探索大型语言模型对语言的理解,并发现语法学习在训练初期起到至关重要的作用,增加训练数据并非提高理解能力的灵丹妙药。
Nov, 2023