May, 2022

神经语言任务分类：哪些自然语言处理任务最能预测 fMRI 脑活动？

PDF
TL;DR本文探索基于任务特征学习的 Transformer 模型在基于两个数据集的大脑编码预测中的表现和认知洞察，并发现语法和语义任务在处理阅读和听力刺激时在大脑区域上均具有良好的预测性能。
transformer modeltransfer learningnatural language processingbrain encodingtask representation
发现论文，激发创造
  • 诱导自然语言处理模型中的大脑相关偏倚

    本研究证明对 BERT 模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

    Oct, 2019

  • 任务专用语言模型集成的脑编码

    通过将 10 种常用语言模型进行集成，我们的研究在所有感兴趣区域上比当前基准结果提高了平均 10% 的性能。

    Oct, 2023

  • 基于不断增加复杂度的语言模型的 fMRI 预测恢复大脑左侧化

    通过对脑成像数据集的分析，我们发现自然语言处理、词嵌入、编码模型、fMRI 数据集和左右脑相关性是关键研究领域。

    May, 2024

  • 人工和人类神经语言表示的关联

    对比句子编码模型在大脑解码任务上的表现，发现语法轻量级表示能够显著提高脑解码性能，这一结果限制了自然语言理解模型解释人类大脑语言功能的空间，同时也揭示了使用 fMRI 人脑成像技术解码精细句法信息的局限性。

    Oct, 2019

  • 神经语言模型并非一出生就适合大脑数据，但训练有助于改善

    本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。

    Jul, 2022

  • 利用 fMRI 数据的大脑预测编码进行语言重建

    提出了一种用于神经解码和脑预测的新模型 extsc {PredFT}，它结合了主要解码网络和用于预测编码的辅助网络，并通过交叉注意力将脑预测编码表示融入主要解码网络以促进语言模型的生成过程。在最大 BLEU-1 分数为 27.8% 的自然语言理解 fMRI 数据集 Narratives 上进行了实验，取得了当前最先进的解码性能。

    May, 2024

  • 使用深度网络在大脑中区分语法和语义

    通过对 GPT-2 的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。

    Mar, 2021

  • 语音语言模型缺乏重要的与大脑相关的语义

    文本和语音语言模型能够准确预测脑部活动，但是消除特定的低级刺激特征后发现语音模型失去了对大脑的预测能力，进一步研究显示语音模型需要改进以更好地反映大脑的语言处理。

    Nov, 2023

  • 利用大脑的自然语言处理能力解释和改进机器的自然语言处理

    提出了一种新颖的解释方法，利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入，研究它们在层深度、上下文长度和注意类型之间的差异，并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。

    May, 2019

  • 基于模型的脑活动分析揭示 305 名被试语言层次结构

    利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

    Oct, 2021