Oct, 2023

人脑语言处理的时间结构与深度语言模型的分层层级对应

PDF
TL;DR深度语言模型（DLMs）为理解人脑中自然语言处理机制提供了一种新的计算范式。通过使用分层连续数值向量来表示单词和上下文，DLMs 与传统的心理语言学模型不同，从而产生了大量新兴应用，如人类般的文本生成。本文通过展示 DLMs 的分层层次结构可以模拟大脑中语言理解的时间动态性，从而证明了 DLMs 的层深与层是否最能预测人脑之间存在强相关。我们利用高时序分辨率的电皮层图谱（ECoG）数据记录参与者在听取一个 30 分钟叙述时的神经活动，同时将相同的叙述输入高性能 DLM（GPT2-XL）中。然后，我们提取 DLM 的不同层中的上下文嵌入，并使用线性编码模型预测神经活动。首先，我们关注下额下回脑回（IFG），然后扩展我们的模型，跟踪语言处理层次结构中从听觉到句法和语义区域的渐增时态感受窗口。我们的结果揭示了人类语言处理和 DLMs 之间的联系，DLM 的信息逐层累积上下文与高级语言区域的神经活动时机形成镜像关系。
deep language modelscomputational paradigmtemporal dynamicslanguage comprehensionneural activity
发现论文，激发创造
  • 语言模型中的因果图重新发现人类叙事处理中的皮质层级

    通过比较语言模型特征对大脑活动的预测准确性，研究发现语言模型和人脑在语言信息处理方面存在相似性。

    Nov, 2023

  • 基于模型的脑活动分析揭示 305 名被试语言层次结构

    利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

    Oct, 2021

  • 语言模型与人脑的差异

    研究发现，虽然语言模型和人类在处理语言时存在共同的计算原理，但它们在获取和使用语言方面存在明显差异，本研究通过比较语言模型的表示和人类大脑对语言的反应，发现语言模型并未很好地捕捉到情感理解、比喻语言处理和物理常识等三个现象，通过针对这些现象进行语言模型的细化调整，发现细化调整后的语言模型在这些任务中与人类大脑的反应更加一致，因此我们认为语言模型与人脑之间的差异可能源于语言模型对这些特定类型的知识的不足表示。

    Nov, 2023

  • 大型语言模型和大脑中的上下文特征提取层次汇聚

    通过研究使用大型语言模型（LLMs）探索人工神经处理和语言理解之间相似性的因素，我们发现随着 LLMs 在基准任务上性能的提高，它们不仅在预测 LLM 嵌入的神经相应性时表现出更高的脑部相似性，而且它们的分层特征提取路径与大脑的映射更为密切，并且使用较少的层进行相同的编码。此外，我们还比较了不同 LLMs 的特征提取路径，发现高性能模型在层次化处理机制方面更多地趋同。最后，我们展示了上下文信息在提高模型性能和与大脑相似性方面的重要性，并揭示了大脑和 LLMs 语言处理的融合特点，为开发更加与人类认知处理密切相关的模型提供了新方向。

    Jan, 2024

  • 一个预测性学习模型可以模拟连续语音的神经表示中发现的时间动力学和上下文效应

    模拟了从计算模型中提取的表示进行的分析揭示了与大脑信号相似的时间动态，这表明这些特性可以在没有语言知识的情况下出现。此外，研究证明，声素的编码模式支持一定程度的跨语境概括，但我们发现这种概括的有效性取决于具体的语境，这表明单独的分析不足以支持存在语境无关编码。

    May, 2024

  • 信息限制神经语言模型揭示不同脑区对语义、句法和语境的敏感性

    该研究使用信息限制的自然语言处理模型研究了神经语言学中与句法和语义处理有关的脑区及其空间组织，并发现左右半球在语义和句法处理方面存在差异且在上下文范围和集成窗口方面敏感性不同。

    Feb, 2023

  • 从人类行为角度探索语言模型

    基于人类行为学视角，我们探究了大型语言模型（LLMs）的预测过程和内部机制，通过将 LLMs 的值与眼动测量结果相关联，发现 LLMs 表现出与基于 RNN 的语言模型不同的预测模式。此外，随着前馈网络（FFN layers）的升级，记忆和语言知识编码的能力也逐渐提升直至达到巅峰，并转向注重理解能力。自注意力机制的功能分布在多个头部。最后，我们审查了门控机制，发现它们控制信息的流动，有些门控机制促进信息的传递，而其他门控机制则消除信息。

    Oct, 2023

  • 语言表征在视觉语音信号模型中的应用

    基于视觉基础的言语知觉模型，使用多层循环高速公路网络对时间性建模，能够从输入信号中提取形式和基于含义的语言学知识，并分析了训练模型不同组件使用的表示方式。在表示层次结构的上升过程中，语义方面的编码越来越丰富，而语言输入中形式相关方面的编码在初始增加后呈现平稳或下降的趋势。

    Feb, 2017

  • 人类和大型语言模型中潜在成分表示的主动运用

    人脑与大型语言模型在句子内部表征方面具有相似的层级结构，通过删除单词来推断句子的潜在分层结构，并证明了这种结构在人脑和语言模型中都能出现。

    May, 2024

  • 大脑和语言模型中语言属性的联合处理

    本论文探讨了语言模型和大脑之间语言处理的关系，指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响，并提供了新的方法来揭示两个系统之间的信息处理.

    Dec, 2022