Feb, 2023

信息限制神经语言模型揭示不同脑区对语义、句法和语境的敏感性

HTML
PDF
TL;DR该研究使用信息限制的自然语言处理模型研究了神经语言学中与句法和语义处理有关的脑区及其空间组织，并发现左右半球在语义和句法处理方面存在差异且在上下文范围和集成窗口方面敏感性不同。
发现论文，激发创造
  • 诱导自然语言处理模型中的大脑相关偏倚

    本研究证明对BERT模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

    Oct, 2019

  • 使用深度网络在大脑中区分语法和语义

    通过对GPT-2的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。

    Mar, 2021

  • 语言模型与脑部对齐：超越词级语义和预测

    本文探讨使用众多的文本数据训练出来的预训练语言机器，对人脑语言理解的预测能力。研究发现，这两者之间的相似性是由下个词的预测机制引起的。作者的实验发现，对机器的语料库进行特定的自然文本刺激文本预测下个词，可以显著提高他们与大脑记录的对齐程度。然而，他们指出与大脑记录对齐的提高不仅仅是由于词汇级别或多词级别语义的改善，他们通过调整词序进一步证实这一点。

    Dec, 2022

  • 大脑和语言模型中语言属性的联合处理

    本论文探讨了语言模型和大脑之间语言处理的关系，指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响，并提供了新的方法来揭示两个系统之间的信息处理.

    Dec, 2022

  • 使用遮蔽注意力生成探测大脑上下文敏感性

    利用 GPT-2 变形金刚生成的单词嵌入来测试大脑对自然文本中背景信息的反应，结果表明语言网络中的大多数皮层对背景信息敏感，右半球对于较长场景的反应比左半球更敏感，支持以前的上下文敏感度分析并有助于量化每个体素的上下文整合窗口大小。

    May, 2023

  • 语音语言模型缺乏重要的与大脑相关的语义

    文本和语音语言模型能够准确预测脑部活动，但是消除特定的低级刺激特征后发现语音模型失去了对大脑的预测能力，进一步研究显示语音模型需要改进以更好地反映大脑的语言处理。

    Nov, 2023

  • 人脑语言处理的计算模型研究综述

    使用计算模型进行大脑研究需要丰富的测试数据集和严格的实验控制，该论文通过评估不同的计算模型在相同数据集上的表现，突出了计算模型在大脑研究中的新兴趋势。

    Mar, 2024

  • 基于不断增加复杂度的语言模型的fMRI预测恢复大脑左侧化

    通过对脑成像数据集的分析，我们发现自然语言处理、词嵌入、编码模型、fMRI数据集和左右脑相关性是关键研究领域。

    May, 2024

  • 基于浅层未训练多头注意力网络的类脑语言处理

    通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

    Jun, 2024

  • 惊讶的分解：语言处理中ERP成分的统一计算模型

    本研究解决了语言相关ERP成分的功能解释问题，通过信息理论模型探讨人类语言处理的脑活动。提出的模型将单词的信息内容分解为直觉惊讶和差异信号，能够有效模拟多种语言操控实验的数据，展示出新的定性和定量预测，推进了语言处理的神经计算模型发展。

    Sep, 2024