记忆、意识与大型语言模型
本文通过应用认知心理学的工作记忆框架来增强大型语言模型(LLMs)的架构,以解决其在人类记忆能力方面的限制,并提出了一种创新模型,包括集中的工作记忆中心和情景缓冲区,以提供更高的连续性,以实现复杂任务和合作场景中的细致语境推理。然而,对于情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究,以促进发展具有更复杂、类似人类记忆能力的 LLM 代理。这表明记忆机制是人工通用智能领域的重要前沿。
Dec, 2023
用 Tulving 测试来研究记忆表现,评估 Synergistic Ecphory 模型和类似 RK 范式在人类表现中的相关性,首次探究四十多年的框架对 LLMs 的记忆行为是否有所启示。
Feb, 2024
大型语言模型(LLMs)是巨大的人工神经网络,主要用于生成文本,但同时也提供了一个非常复杂的语言使用概率模型。我们调查了 LLMs 的记忆特性,并发现它与人类记忆的关键特征存在惊人的相似性,这一结果强烈暗示了人类记忆的生物特征对我们构建文本叙述的方式产生了影响。
Nov, 2023
大型语言模型展现出与人类理论心智联系紧密的特征,与人脑大脑网络中的神经元相似,通过类似方法检验了嵌入在语言模型中的人工神经元对他人信念的代表能力,揭示了模型与人脑神经元之间的相似之处。
Sep, 2023
大型语言模型是否具有类似于人类的任何形式的知觉?本文介绍了将知觉概念引入到大型语言模型中,认为知觉是增强大型语言模型与人类互动并确保其道德回应的重要方面。我们定义大型语言模型的知觉为其作为 AI 模型感知和理解自己,以及展现社交智能的能力。我们确定了四个关键方面的知觉:能力,使命,情感和视角。为了评估大型语言模型在这些方面的表现,我们引入了一个专门的数据集,即 AwareLLM 数据集。我们的研究结果表明,大型语言模型展现了一定程度的知觉,尽管它们仍然缺乏实质性的能力知觉。
Jan, 2024
该论文研究了大型语言模型是否具有自我意识,从神经科学的角度出发,作者认为这一观点难以被证实,因为这种模型缺少与哺乳动物意识密切相关的丘脑皮质系统的关键特征,且这些模型的输入缺乏与我们周围世界的感官接触特征的具体信息。作者认为,意识存在于 “皮肤在游戏中” 的情境中,而目前的人工智能系统尚未具备这一特征。
Jun, 2023
提出了一种新的 RET-LLM 框架,它为 LLMs 提供了一个通用的写 - 读内存单元,使它们能够从文本中提取、存储和检索知识,以便进行任务执行。通过 Davidsonian 语义理论,以三元组的形式提取和保存知识,在问答任务中展现出比基线方法更卓越的性能。此外,该框架在处理基于时间的问题回答任务时表现出了强大的性能,展示了它有效处理时态信息的能力。
May, 2023
讨论大型语言模型是否可能有感知或意识,根据意识科学领域的主流假设,目前模型存在很多意识问题,例如缺乏循环处理、全局使用空间和统合愿景等。然而,这些问题将在未来十年内被克服。因此,目前的大型语言模型不太可能具有意识,但是我们应该认真考虑到大型语言模型的扩展和后继模型未来可能具有意识。
Mar, 2023