规范参与是语言的基础
本文介绍了一种通过协议达成共识的对话设置,除任务级别目标外,还有一个次要的、显式的目的——达成对任务级别目标是否达成的共识——使得会话参与者更关心彼此的理解,从而产生更丰富的数据以推导模型。
Aug, 2019
语言理解研究在未能将语言与其所描述的物理世界和所促进的社会互动相联系的情况下受到阻碍,因此现在的成功表示学习方法需要与涉及语言的更广泛的物理和社会背景的研究相结合来解决沟通的更深层次的问题。
Apr, 2020
通过探究内在表征的多种不同地基于生物或人工系统方法(指示性、感觉运动、关系、交流和认识性地基础),梳理分化它们之间的差异,并阐述说明认为指示性地基础是矢量基础问题的关键所在。基于哲学和认知科学中的表征内容理论,本文提出了某些大语言模型(LLMs,尤其是使用人类反馈从 RLHF 进行调整的)具有克服矢量基础问题所必需的特征,并且提出,多模态和体现都不是人工系统指示性基础的必要或充分条件。
Apr, 2023
通过后结构主义社会政治理论的视角,探讨大型语言模型中的“对准”概念,特别审视其与空符号的相似之处。通过建立一个框架,明确抽象概念在实证数据集中的操作方式,我们旨在推动透明和批判性评估的文化,帮助研究人员在将大型语言模型与人类群体对准的复杂性中进行导航。
Oct, 2023
通过建立一种方法论框架,对比训练在不同输入模态下的模型,本文研究了提供比仅有文本更丰富的输入来源对自然语言处理系统的影响,发现交叉模态接地、跨语言接地和未接地的模型之间存在质的差异,这从整体数据集层面和具体词表示层面衡量了模型的表现。
Oct, 2023
当前大型语言模型(LLMs)在生成符合语法、流畅的文本方面无与伦比。这篇论文针对LLMs的能力进行了辩论,并通过批判性评估三个经常在批评中出现的观点来展示LLMs仍需更多细化。其次,文章从实证和理论的角度提出了对LLMs中“真正”的理解和意向性的实用观点,并讨论了在何种情况下将心理状态归因于LLMs对于这一日益重要的技术在社会中具有实用的哲学背景。
Oct, 2023
大型语言模型,如GPT-4,在广泛的基于语言的任务中取得了显著的熟练度,这些任务中有些传统上与人类智能的标志相关联。这引发了关于我们能否将任何语言模型归属于语言或认知能力的程度的持续争议。本文是两篇相关论文的第一部分,旨在为哲学家提供关于语言模型的介绍,并对其与哲学、认知科学、人工智能和语言学领域中经典辩论的重要性进行主观调查。我们涵盖的主题包括语言的组成性、语言习得、语义能力、基础、世界模型和文化知识的传输。我们认为,语言模型的成功挑战了人们对人工神经网络的一些长期假设。然而,我们还强调了进一步的实证研究以更好地了解它们的内部机制的需要。这为第二部分的相关论文提供了基础,第二部分将探讨关于语言模型最新发展引发的新的实证方法和哲学问题。
Jan, 2024
参与主动对话对于建立共同基础至关重要,因为理解是由发出者和接收者共同塑造的;偷听者无法执行基础行为,只能猜测意图,数据生成、注释、建模、训练和评估自然语言处理对话模型仍依靠这种偷听范式,然而,正如我们展示的那样,有证据表明无法通过数据驱动的学习模型来正确地建模人类元交际行为,本文讨论了这个问题,并对人类在请求澄清方面的决策变化进行了初步分析,最重要的是,我们希望将这个主题重新提到社区的议程中,鼓励关于仅设计为“偷听”的模型后果的讨论。
May, 2024