Jan, 2024

语言模型的哲学导论 -- 第一部分：与经典辩论的连续性

PDF
TL;DR大型语言模型，如 GPT-4，在广泛的基于语言的任务中取得了显著的熟练度，这些任务中有些传统上与人类智能的标志相关联。这引发了关于我们能否将任何语言模型归属于语言或认知能力的程度的持续争议。本文是两篇相关论文的第一部分，旨在为哲学家提供关于语言模型的介绍，并对其与哲学、认知科学、人工智能和语言学领域中经典辩论的重要性进行主观调查。我们涵盖的主题包括语言的组成性、语言习得、语义能力、基础、世界模型和文化知识的传输。我们认为，语言模型的成功挑战了人们对人工神经网络的一些长期假设。然而，我们还强调了进一步的实证研究以更好地了解它们的内部机制的需要。这为第二部分的相关论文提供了基础，第二部分将探讨关于语言模型最新发展引发的新的实证方法和哲学问题。
language modelsphilosophy cognitive scienceartificial intelligencelinguisticscompositionality
发现论文，激发创造
  • 语言模型的哲学导论 - 第二部分：前进之路

    通过对大型语言模型的解释性、因果干预方法的证据，以及多模态和模块化扩展，最近关于意识最低标准的争议以及在大型语言模型研究中的保密性和可重复性方面的担忧的讨论，该文讨论了大型语言模型及其对人类认知建模的相关性。

    May, 2024

  • 语言模型：困惑者指南

    给定人工智能素养的重要性，本研究撰写了本教程，旨在帮助缩小学习语言模型（如 ChatGPT 等产品的核心技术）的研究者与对其感兴趣并希望了解更多的人之间的差距。总之，我们相信研究人员和教育工作者的观点可以增加公众对这些技术的理解，超越目前仅有的极其专业或由产品供应商生成的宣传材料。通过将语言模型概念与基于其构建的产品、产品所表现的行为以及与人类认知相似性的主张区分开来的方法，我们提供了（1）以实验研究为研究对象的科学观点；（2）将当前的语言模型置于其发展研究的背景中；（3）描述了目前对这些模型的已知范围。

    Nov, 2023

  • GPT-ology，计算模型，硅采样：认知科学中的 LLMs 如何思考？

    大型语言模型在认知科学领域引起了轰动，现在是时候对用于在这些模型或人类认知中进行科学推理的各种研究范式进行总结。我们回顾了几种新兴的研究范式 - GPT-ology、LLMs 作为计算模型以及 “硅采样”，并回顾了最近在这些范式下使用 LLMs 的论文。在这样做的过程中，我们讨论了它们的主张以及在这些不同范式下进行科学推理的挑战。我们强调了几个关于 LLMs 需要解决的重要问题，以推动我们的科学发展：闭源 vs 开源模型；（缺乏的）训练数据；并且在 LLM 研究中的可重复性，包括形成新任务 “超参数”（如指令和提示）的约定。

    Jun, 2024

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 大型语言模型中语言和思维的分离：认知角度

    今天的大型语言模型 (LLMs) 可以生成连贯的，符合语法的、有意义的文本段落，但在如人类思维一样的实际语言使用中，大多数测试需要功能语言能力，从认知神经科学的证据中，我们显示出 LLMs 显示出令人印象深刻（虽然不完美）的正式语言能力的任务，但在需要功能能力的许多测试中失败了。

    Jan, 2023

  • 语言与大型语言模型之间的去向问题

    人工智能，自然语言处理，大型语言模型和科学模型在语言方面的应用和发展的研究。

    Oct, 2023

  • 论大型语言模型

    本文旨在提倡对大型语言模型及其相关系统的实际工作进行重新审视，追求更高的科学精度以引领关于人工智能的哲学探索和公众话语。

    Dec, 2022

  • 在测试语言不常见方面的人工智能性能时，暴露对底层意义的不敏感性

    本研究探讨基于计算方法和大数据的人工智能应用中所使用的大型语言模型的语言表现，着重考察语言表现是否由语言知识所导引。结果发现即便是常规语法结构之外的、不太常见的语言结构也可能导致大型语言模型表现出不足的语言能力，暗示这种类型的语言模型实际上并不像人类一样具有对语言的深入理解。

    Feb, 2023

  • 大型语言模型：当前辩论的细腻需求和实用角度下的理解

    当前大型语言模型（LLMs）在生成符合语法、流畅的文本方面无与伦比。这篇论文针对 LLMs 的能力进行了辩论，并通过批判性评估三个经常在批评中出现的观点来展示 LLMs 仍需更多细化。其次，文章从实证和理论的角度提出了对 LLMs 中 “真正” 的理解和意向性的实用观点，并讨论了在何种情况下将心理状态归因于 LLMs 对于这一日益重要的技术在社会中具有实用的哲学背景。

    Oct, 2023

  • 大型语言模型与语言意图

    大型语言模型在产生的文字中是否有意义？本文提出了一个不同的方法来考虑语言模型满足最佳语义元论理论的条件，并运用了两种理论来论证大型语言模型输入的有意义。

    Apr, 2024