Feb, 2024

大型语言模型是否反映认知语言处理？

HTML
PDF
TL;DR大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将LLM表示与人类认知信号进行桥接，评估LLM在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量16个主流LLM与脑部fMRI信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对LLM-脑信号对齐的影响。实验结果表明，模型扩展与LLM-脑信号相似性呈正相关，对齐训练可以显著提高LLM-脑信号相似性。此外，广泛的LLM评估（如MMLU，Chatbot Arena）的性能与LLM-脑信号相似性高度相关。
发现论文，激发创造
  • 训练语言模型概括叙述能够提高大脑对齐

    训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发，研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解，并表明了这种训练可以带来更好的大脑-自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。

    Dec, 2022

  • 语言模型与人脑的差异

    研究发现，虽然语言模型和人类在处理语言时存在共同的计算原理，但它们在获取和使用语言方面存在明显差异，本研究通过比较语言模型的表示和人类大脑对语言的反应，发现语言模型并未很好地捕捉到情感理解、比喻语言处理和物理常识等三个现象，通过针对这些现象进行语言模型的细化调整，发现细化调整后的语言模型在这些任务中与人类大脑的反应更加一致，因此我们认为语言模型与人脑之间的差异可能源于语言模型对这些特定类型的知识的不足表示。

    Nov, 2023

  • 指令调整将LLMs对齐到人脑

    指导调优对大型语言模型（LLMs）进行调优的普遍方法，能够使其生成更接近自然语言查询的人类响应的输出，在许多情况下在各种测试中实现人类水平的性能。然而，指导调优是否真正使LLMs更加与人类处理语言的方式相似仍不清楚。我们通过两种方式研究指导调优对LLM-human相似性的影响：(1)大脑对齐，即LLM内部表示与人类语言系统的神经活动相似度，(2)行为对齐，即LLM和人类在阅读任务上的行为相似度。我们评估了25个原始版本和经过指导调优的LLMs在涉及人类阅读自然故事和句子的三个数据集上的表现。我们发现指导调优通常使大脑对齐提高了平均6％，但对行为对齐没有类似效果。为了确定影响LLM-brain对齐的因素，我们计算了LLMs的大脑对齐与各种模型特性之间的相关性，如模型大小、各种问题解决能力和需要跨各种领域的世界知识的任务的性能。值得注意的是，我们发现大脑对齐和模型大小（r = 0.95）以及需要世界知识的任务的表现（r = 0.81）之间存在强正相关。我们的结果表明，指导调优LLMs可以改善世界知识表示和大脑对齐，这表明在LLMs中编码世界知识的机制也可以改善与人类大脑的表征对齐。

    Dec, 2023

  • 大型语言模型和大脑中的上下文特征提取层次汇聚

    通过研究使用大型语言模型（LLMs）探索人工神经处理和语言理解之间相似性的因素，我们发现随着LLMs在基准任务上性能的提高，它们不仅在预测LLM嵌入的神经相应性时表现出更高的脑部相似性，而且它们的分层特征提取路径与大脑的映射更为密切，并且使用较少的层进行相同的编码。此外，我们还比较了不同LLMs的特征提取路径，发现高性能模型在层次化处理机制方面更多地趋同。最后，我们展示了上下文信息在提高模型性能和与大脑相似性方面的重要性，并揭示了大脑和LLMs语言处理的融合特点，为开发更加与人类认知处理密切相关的模型提供了新方向。

    Jan, 2024

  • 大型语言模型在大脑中的映射是什么？反对过度依赖脑部评分的案例

    使用大型语言模型研究大脑信号，通过测量模型的预测能力和大脑的相似性，关注大脑活动对语言处理的核心元素，并发现过度依赖大脑信号评分可能导致对大型语言模型与大脑相似性的过度解读。

    Jun, 2024

  • 基于浅层未训练多头注意力网络的类脑语言处理

    通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

    Jun, 2024

  • 人类概念处理中的多模态融合建模：视觉与语言模型

    本研究解决了现有研究大多集中于单模态DNN的问题，探讨了视觉与语言的多模态融合是否比单一模态更能反映人脑活动的真实情况。通过分析参与者在阅读概念词时的fMRI反应，发现多模态视觉与语言模型的表征与大脑语言处理相关区域的激活相关性更强。这一发现有助于理解人类如何整合语言和感知运动信息，从而推动神经科学的研究。

    Jul, 2024

  • 大型语言模型与认知科学：相似性、差异性及挑战的全面评述

    本综述研究了大型语言模型（LLMs）与认知科学交叉领域的相似性与差异性，分析了LLMs的认知能力评估方法及其作为认知模型的潜力。主要发现是LLMs在认知科学研究中的应用提供了重要见解，并指出了LLMs在与人类认知对齐过程中的挑战及未来研究方向。

    Sep, 2024

  • 大语言模型与认知科学：相似性、差异性与挑战的全面评述

    本研究探讨了大语言模型（LLMs）与人类认知过程之间的相似性与差异性，填补了这一领域的研究空白。文章提出了一种评估LLMs认知能力的新方法，并指出了LLMs作为认知模型的潜力。研究结果强调了LLMs在理解人工智能及人类智能方面的重要性，并提出了未来研究方向。

    Sep, 2024

  • 大型语言模型与认知科学：相似性、差异性及挑战的综合评审

    本研究探讨了大型语言模型（LLMs）与认知科学的交集，分析了LLMs与人类认知过程之间的相似性和差异性。研究的主要发现是，尽管LLMs表现出某些认知能力，但仍存在认知偏见与局限性，需要进一步研究和改进，以推动理解人工智能与人类智能的进步。

    Sep, 2024