多模态大语言模型自然形成类人对象概念表示

Jul, 2024

多模态大语言模型自然形成类人对象概念表示

Human-like object concept representations emerge naturally in multimodal large language models

Changde Du, Kaicheng Fu, Bincheng Wen, Yi Sun, Jie Peng...

TL;DR通过分析行为和神经成像数据，本研究揭示了大型语言模型（LLMs）中的对象概念表示与人类的相关性，证明了 LLMs 和多模式 LLMs 已经发展出类似于人类的概念性对象表示，该研究推动了对机器智能的理解并为开发更类似人类的人工认知系统提供了参考。

Abstract

The conceptualization and categorization of natural objects in the human mind have long intrigued cognitive scientists and neuroscientists, offering crucial insights into human perception and cognition. Recently, the rapid development of large language models (LLMs) has raised the attr

object concept representations large language models multimodal data neural activity patterns machine intelligence

发现论文，激发创造

大型语言模型中出现的人类情感知识表示并支持离散情感推断

本研究利用大型语言模型（LLMs）的人工神经元研究人类情感推断机制，发现 LLMs 基于情感知识的概念结构与人类行为中的离散情感的结构相似，且它基于 14 个概念属性的情感推断依赖程度与人类依赖程度相近，这为情感知识在大型语言模型中的出现提供了直接证据，并建议其对离散情感推断至关重要。

Feb, 2023

基于概念的大语言模型深度学习

本文讨论大型语言模型在概念导向深度学习方面的应用，以及利用多模态语言模型进行概念提取、图谱提取和概念学习等方面的研究。同时，本文认为，虽然 LLM 在概念导向深度学习方面的应用颇具价值，但作为人工智能聊天机器人的应用，它更具有实用价值。

Jun, 2023

从人类行为中揭示可解释的对象表示

通过人类行为判断对 1854 个物体类别的图像进行稀疏、非负表示，找出表达分类、功能和感知属性程度的低维嵌入的尽可能解释人类行为判断可变性的潜在相似性结构，从而展示了这些嵌入形态在阐释人类概念物体表示方面的预测能力。

Jan, 2019

语言模型能够理解物理概念吗？

该论文研究了自然语言模型是否能理解物理概念，并设计了一个基准测试 VEC 来探究视觉和具身概念。结果表明，视觉增强的语言模型，如 CLIP 和 BLIP，能够理解具身概念，而通过蒸馏方法将具身知识转移给 LMs 的性能也相当可观。

May, 2023

概念表示需要具身吗？来自大型语言模型的洞见

该论文比较人类和 ChatGPT（GPT-3.5 和 GPT-4）在各种词汇概念特征或维度上的词汇概念表示，结果表明 LLM 可以在某些抽象维度上表现得与人类相似，但在感官和运动领域，GPT-3.5 表现较弱，而 GPT-4 在这方面有了显著进展，但仍然存在一些不足。此外，研究还发现，GPT-4 的进步主要源于其在视觉领域的训练。研究还发现，某些概念表示的方面似乎与感官能力相互独立，但其他方面似乎需要它们。

May, 2023

大型语言模型中的无参考意义

本文讨论大型语言模型是否存在人类概念或含义，并指出语言模型可能捕捉了重要的含义方面，这符合人类认知的合理解释。由于概念角色由内部表示状态之间的关系定义，因此含义不能从模型的体系结构，训练数据或目标函数中确定，而只能通过研究其内部状态之间的关系来确定。

Aug, 2022

探索多模态大型语言模型的全局和局部语义表示

研究发现，模型的中间层能够更好地编码全局语义信息，表征向量在视觉 - 语言蕴含任务中表现更好，而最顶层的模型可能过于关注局部信息，导致对全局信息编码能力减弱。

Feb, 2024

面向概念感知的大型语言模型

在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。

Nov, 2023

在大规模语言和视觉模型中探索空间模式直觉

尽管大型语言模型在人工智能研究中广泛使用，但其在模型具象问题上的探讨仍未得到充分挖掘，这使它们与感知直接影响物理动作的机器人具象系统相区别。本研究通过对人类关于语言基本空间构建模块的内隐直觉是否被大型语言模型有效捕捉来进行了调查。我们借鉴早期感知运动经验中发展的空间认知基础的见解，通过再现三个心理语言学实验来引导我们的探索。令人惊讶的是，模型输出与人类反应之间出现了相关性，揭示了在没有具体联系到具象经验的情况下的适应能力。值得注意的区别包括极化的语言模型反应和视觉语言模型中降低的相关性。本研究对于深入理解语言、空间经验和大型语言模型所进行的计算之间的相互作用做出了贡献。

Feb, 2024

大型语言模型是否反映认知语言处理？

大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将 LLM 表示与人类认知信号进行桥接，评估 LLM 在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量 16 个主流 LLM 与脑部 fMRI 信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对 LLM - 脑信号对齐的影响。实验结果表明，模型扩展与 LLM - 脑信号相似性呈正相关，对齐训练可以显著提高 LLM - 脑信号相似性。此外，广泛的 LLM 评估（如 MMLU，Chatbot Arena）的性能与 LLM - 脑信号相似性高度相关。

Feb, 2024