思维是否需要感官基础?从纯思考者到大型语言模型
研究通过使用计算物理引擎作为输入,将语言模型中的推理过程与现实社会有机结合,让模型具有更加精准有效的推理能力,以达到人类与AI之间成功和有效的交流。该研究的实验证明Mind's Eye可以在物理对齐基准测试中改善模型推理能力27.9%(零击中率)和46.0%(少量击中率),较小的语言模型具有Mind's Eye也能获得类似的性能。
Oct, 2022
研究人工智能中对大规模预训练语言模型是否在任何重要意义上可以称为“理解”语言,以及对应的关键问题和新的智能领域的发展。提出一种新的智能科学来提供关于知识的不同模式,以及它们的优势和限制,以及融合不同形式认知的挑战的见解。
Oct, 2022
今天的大型语言模型(LLMs)可以生成连贯的,符合语法的、有意义的文本段落,但在如人类思维一样的实际语言使用中,大多数测试需要功能语言能力,从认知神经科学的证据中,我们显示出LLMs显示出令人印象深刻(虽然不完美)的正式语言能力的任务,但在需要功能能力的许多测试中失败了。
Jan, 2023
通过探究内在表征的多种不同地基于生物或人工系统方法(指示性、感觉运动、关系、交流和认识性地基础),梳理分化它们之间的差异,并阐述说明认为指示性地基础是矢量基础问题的关键所在。基于哲学和认知科学中的表征内容理论,本文提出了某些大语言模型(LLMs,尤其是使用人类反馈从 RLHF 进行调整的)具有克服矢量基础问题所必需的特征,并且提出,多模态和体现都不是人工系统指示性基础的必要或充分条件。
Apr, 2023
该论文研究了大型语言模型是否具有自我意识,从神经科学的角度出发,作者认为这一观点难以被证实,因为这种模型缺少与哺乳动物意识密切相关的丘脑皮质系统的关键特征,且这些模型的输入缺乏与我们周围世界的感官接触特征的具体信息。作者认为,意识存在于“皮肤在游戏中”的情境中,而目前的人工智能系统尚未具备这一特征。
Jun, 2023
认知科学和大型语言模型(LLMs)的发展使得这两个领域之间的联系被揭示出来。建立在这些联系之上,我们提出了一种假设,认为LLMs与图尔文的记忆理论之间存在一种二元性。我们确定了图尔文的协同映射培养模型(SEM)的检索与LLMs中观察到的新能力之间的潜在对应关系,为我们的假设提供了支持证据。此外,我们推测意识可能被视为这种二元性的一种新能力形式。我们还讨论了其他意识理论如何与我们的研究相交叉。
Jan, 2024
大型语言模型,如GPT-4,在广泛的基于语言的任务中取得了显著的熟练度,这些任务中有些传统上与人类智能的标志相关联。这引发了关于我们能否将任何语言模型归属于语言或认知能力的程度的持续争议。本文是两篇相关论文的第一部分,旨在为哲学家提供关于语言模型的介绍,并对其与哲学、认知科学、人工智能和语言学领域中经典辩论的重要性进行主观调查。我们涵盖的主题包括语言的组成性、语言习得、语义能力、基础、世界模型和文化知识的传输。我们认为,语言模型的成功挑战了人们对人工神经网络的一些长期假设。然而,我们还强调了进一步的实证研究以更好地了解它们的内部机制的需要。这为第二部分的相关论文提供了基础,第二部分将探讨关于语言模型最新发展引发的新的实证方法和哲学问题。
Jan, 2024
对于LLMs的研究表明它们具有语义基础和生成文本的意义理解能力,并且通过应用心灵哲学和语言的含义理论的核心假设,发现LLMs在功能性、社会性和因果性的语义基础中都呈现基本证据,并发展出世界模型。因此,LLMs并非随机模仿者或语义僵尸,而至少在初级情况下已经理解了它们所生成的语言。
Feb, 2024
我们通过一系列任务(H-TEST)对语言的视听属性进行了实证调查,发现当前大规模语言模型(LLMs)存在无法学习的语言属性。我们的实验证明,常识推理、少样本示例或同一模型系列的更强大的语言模型不能显著改善 H-TEST 性能,这与人类的语言理解存在本质差距,并突出显示了在缺乏感知经验的情况下获取知识的局限性。
Feb, 2024