从非基于事实的形式获取意义的可证明限制：未来的语言模型将理解什么？

ACLApr, 2021

从非基于事实的形式获取意义的可证明限制：未来的语言模型将理解什么？

Provable Limitations of Acquiring Meaning from Ungrounded Form: What Will Future Language Models Understand?

William Merrill, Yoav Goldberg, Roy Schwartz, Noah A. Smith

TL;DR本文研究了在没有辅助的情况下，自然语言处理中的语言模型是否能够理解文本的内涵。研究发现，当文本满足语义透明性时，assertions 可以使系统模拟语义关系，并保留原本等价的关系。但对于某些语言类别而言，表达在不同上下文中可以有不同的含义，这时模拟会变得难以计算。最后，作者提出了这种模拟在计算机语言和自然语言之间的差异，并探讨了其在语义模态和其他语义关系中的应用。总之，未建立在基础语言上的模型在理解语义方面存在本质上的局限。

Abstract

language models trained on billions of tokens have recently led to unprecedented results on many nlp tasks. This success raises the question of whether, in principle, a system can ever ``understand'' raw text wit

language models nlp tasks assertions semantic transparency semantic representations

发现论文，激发创造

大型语言模型中的意义和理解

机器能否理解自然语言？该研究评估了人工智能生成型大型语言模型 (LLMs) 的最新发展，批评了把机器语言表现仅视为语法操作和模拟理解的传统哲学假设，并强调了将自然语言理解归因于最先进的 LLMs 的关键条件，认为 LLMs 不仅仅使用语法，还使用语义，理解不是模拟而是复制，同时确定了它们如何给予语言表达的意义基础。

Oct, 2023

现实与语言数据的限制

这篇研究使用一个新颖的推理测试来探索语言数据对于计算机理解物理世界的可行性，并强调模型可能直接从纯语言数据中学习的内容。

Aug, 2022

大语言模型中的语义基础：理解人工智能

对于 LLMs 的研究表明它们具有语义基础和生成文本的意义理解能力，并且通过应用心灵哲学和语言的含义理论的核心假设，发现 LLMs 在功能性、社会性和因果性的语义基础中都呈现基本证据，并发展出世界模型。因此，LLMs 并非随机模仿者或语义僵尸，而至少在初级情况下已经理解了它们所生成的语言。

Feb, 2024

从理想语言模型中提取蕴涵语义

本文探讨了使用 Gricean 数据训练语言模型，能够推断出句子之间的蕴含关系，并揭示了从无标签语言数据中提取语义信息的潜在框架。

Sep, 2022

以行动示范为导向，而非口头指示：将自然语言融入机器人可用性

利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

Apr, 2022

向量基础问题

通过探究内在表征的多种不同地基于生物或人工系统方法（指示性、感觉运动、关系、交流和认识性地基础），梳理分化它们之间的差异，并阐述说明认为指示性地基础是矢量基础问题的关键所在。基于哲学和认知科学中的表征内容理论，本文提出了某些大语言模型（LLMs，尤其是使用人类反馈从 RLHF 进行调整的）具有克服矢量基础问题所必需的特征，并且提出，多模态和体现都不是人工系统指示性基础的必要或充分条件。

Apr, 2023

大型语言模型真正地进行了多好的接地？

大型语言模型的可靠性和控制性方面的关键问题是如何通过知识增强模型进行接地，该研究提出了一种严格的接地定义，并引入新的数据集和接地度量标准来评估该定义，通过实验对 13 种不同大小和训练方法的大型语言模型进行研究，以提供改进接地能力的见解。

Nov, 2023

使用语言模型的学习界限

本文研究大语言模型在自然语言处理中的局限性，特别是无法学习一些基本语义属性，如语义蕴涵和一致性，以及不能学习超越 Borel 层次结构的概念，这对语言模型的语言理解能力产生了严重限制。

Jun, 2023

视觉基准帮助在低数据环境中学习词义

通过对具有意义的监督的视觉数据进行训练，我们发现在具有限定语言数据的情况下，视觉监督可以提高词汇学习的效率，但这种改进是有限的，并且当前的多模态建模方法未能有效利用视觉信息以构建更具人类特征的词汇表示。

Oct, 2023

训练于编程语言的语言模型中有意义迹象的证据

本文研究使用程序语言这一中间测试平台，探究语言模型是否能够理解语义，并发现 Transform 模型可通过样例抽象出当前和未来程序状态，使用的探测器准确率与执行输入所生成的程序一致。文中还提出了一种语义干预的实验方法，并展示了模型能够生成更短、更正确的程序。

May, 2023