May, 2022
语言模型不是语言的模型
A Precis of Language Models are not Models of Language
Csaba Veres
TL;DR本研究显示,尽管大型神经语言模型在执行语言任务方面取得了许多成功,但它们并不适合作为自然语言的全面模型。这意味着现代神经模型并不能代表我们对认知的理解革命。
Abstract
natural language processing is one of the leading application areas in the
current resurgence of Artificial Intelligence, spearheaded by Artificial Neural
Networks. We show that despite their many successes at performing linguistic
tasks, →
natural language processingartificial neural networkslarge neural language modelslinguistic taskscognition
发现论文,激发创造
语言模型的哲学导论 -- 第一部分:与经典辩论的连续性
大型语言模型,如 GPT-4,在广泛的基于语言的任务中取得了显著的熟练度,这些任务中有些传统上与人类智能的标志相关联。这引发了关于我们能否将任何语言模型归属于语言或认知能力的程度的持续争议。本文是两篇相关论文的第一部分,旨在为哲学家提供关于语言模型的介绍,并对其与哲学、认知科学、人工智能和语言学领域中经典辩论的重要性进行主观调查。我们涵盖的主题包括语言的组成性、语言习得、语义能力、基础、世界模型和文化知识的传输。我们认为,语言模型的成功挑战了人们对人工神经网络的一些长期假设。然而,我们还强调了进一步的实证研究以更好地了解它们的内部机制的需要。这为第二部分的相关论文提供了基础,第二部分将探讨关于语言模型最新发展引发的新的实证方法和哲学问题。
Jan, 2024
一个句子的价值胜千张图片:大型语言模型是否理解人类语言?
人工智能应用在语言相关任务中表现出巨大潜力,特别是在下一个单词预测领域。我们分析了大型语言模型作为理论信息化目标系统的表示能力与无理论强大机制工具的贡献,并确定了当前开发和利用这些模型中仍然缺失的关键能力。
Jul, 2023
语言模型:困惑者指南
给定人工智能素养的重要性,本研究撰写了本教程,旨在帮助缩小学习语言模型(如 ChatGPT 等产品的核心技术)的研究者与对其感兴趣并希望了解更多的人之间的差距。总之,我们相信研究人员和教育工作者的观点可以增加公众对这些技术的理解,超越目前仅有的极其专业或由产品供应商生成的宣传材料。通过将语言模型概念与基于其构建的产品、产品所表现的行为以及与人类认知相似性的主张区分开来的方法,我们提供了(1)以实验研究为研究对象的科学观点;(2)将当前的语言模型置于其发展研究的背景中;(3)描述了目前对这些模型的已知范围。
Nov, 2023