Jun, 2024

使用 EEG 和语言模型探索语言处理的时间尺度

PDF
TL;DR本研究探讨了语言处理的时间动态，通过研究预训练基于变压器的语言模型和脑电数据之间的单词表示的对准。使用时间响应函数 (TRF) 模型，我们调查了神经活动如何对应于不同层的模型表示，揭示了人工语言模型和大脑在语言理解过程中的相互作用的见解。我们的分析揭示了不同层中 TRF 的模式，突显了对词汇和构成处理的不同贡献。此外，我们使用线性判别分析 (LDA) 来分离词性 (POS) 表示，为神经响应和句法处理的基本机制提供了见解。这些发现强调了脑电图在高时间分辨率下探测语言处理动态方面的实用性。通过连接人工语言模型和神经活动，本研究推进了对它们在精细时间尺度上相互作用的理解。
temporal dynamicslanguage processingword representationseeg dataneural activity
发现论文，激发创造
  • 人脑语言处理的时间结构与深度语言模型的分层层级对应

    深度语言模型（DLMs）为理解人脑中自然语言处理机制提供了一种新的计算范式。通过使用分层连续数值向量来表示单词和上下文，DLMs 与传统的心理语言学模型不同，从而产生了大量新兴应用，如人类般的文本生成。本文通过展示 DLMs 的分层层次结构可以模拟大脑中语言理解的时间动态性，从而证明了 DLMs 的层深与层是否最能预测人脑之间存在强相关。我们利用高时序分辨率的电皮层图谱（ECoG）数据记录参与者在听取一个 30 分钟叙述时的神经活动，同时将相同的叙述输入高性能 DLM（GPT2-XL）中。然后，我们提取 DLM 的不同层中的上下文嵌入，并使用线性编码模型预测神经活动。首先，我们关注下额下回脑回（IFG），然后扩展我们的模型，跟踪语言处理层次结构中从听觉到句法和语义区域的渐增时态感受窗口。我们的结果揭示了人类语言处理和 DLMs 之间的联系，DLM 的信息逐层累积上下文与高级语言区域的神经活动时机形成镜像关系。

    Oct, 2023

  • 语言和脑电图之间的跨领域对齐的实证探索

    本研究介绍了 MTAM（MultimodalTransformer Alignment Model）方法，通过引入规范化关系和 Wasserstein 距离等算法，实现了将语言和电生理信号转换为高级联合表示，提高了情感分析和关系检测精度，从而研究两者在表征层面的关系。

    Aug, 2022

  • 用于多模式自然语言处理的 EEG 脑电信号解码

    本文针对脑电信号对自然语言处理的潜力进行了大规模研究，利用多模态机器学习体系结构，发现滤波后的脑电信号对情感分析任务的性能提升最为明显，特别是在训练数据有限的情况下。

    Feb, 2021

  • 机器关注时的人类大脑活动

    通过将神经网络和神经科学的 EEG 数据相结合，使用理论驱动的裁剪和随机森林树分割来降低 EEG 数据的维度，从而改进了 NLP 任务中的注意力机制，表现出比强基准线更佳的表现，有助于进一步研究 EEG 在 NLP 任务中的应用。

    Jun, 2020

  • EEG-GPT: 大型语言模型在脑电波分类与解读中的能力探索

    EEG-GPT 是一种统一的脑电图分类方法，利用大型语言模型的进展实现了在多尺度脑电生理理解和分类能力方面出色的性能，同时提供透明和可解释的逐步验证过程，从而在临床环境中提高了可信度。

    Jan, 2024

  • 诱导自然语言处理模型中的大脑相关偏倚

    本研究证明对 BERT 模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

    Oct, 2019

  • 连接神经反应测量与语言计算模型：非全面指南

    研究神经语言理解基础一直是各种科学研究项目的长期目标，最近的语言建模和神经影像技术的进展为语言的神经生物学调查和构建更好、更类人的语言模型提供了潜在的改进。本文综述了从早期研究将事件相关电位和源于简单语言模型的复杂性度量联系起来的一条线路，到使用大型语料库训练的人工神经网络模型与使用自然刺激的多个模态的神经响应记录相结合的当代研究。

    Mar, 2022

  • 基于不断增加复杂度的语言模型的 fMRI 预测恢复大脑左侧化

    通过对脑成像数据集的分析，我们发现自然语言处理、词嵌入、编码模型、fMRI 数据集和左右脑相关性是关键研究领域。

    May, 2024

  • 神经语言模型的时间尺度组织映射

    本研究使用神经科学方法对 word-level LSTM 语言模型进行 “处理时间尺度” 的映射，揭示了神经语言模型的时间尺度和功能组织，识别出 “控制单元” 和 “整合单元” 两类长时间尺度单元，并证明这些结果具有普遍性。

    Dec, 2020

  • 基于模型的脑活动分析揭示 305 名被试语言层次结构

    利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

    Oct, 2021