Nov, 2023

语音语言模型缺乏重要的与大脑相关的语义

HTML
PDF
TL;DR文本和语音语言模型能够准确预测脑部活动，但是消除特定的低级刺激特征后发现语音模型失去了对大脑的预测能力，进一步研究显示语音模型需要改进以更好地反映大脑的语言处理。
发现论文，激发创造
  • 诱导自然语言处理模型中的大脑相关偏倚

    本研究证明对BERT模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

    Oct, 2019

  • 基于模型的脑活动分析揭示305名被试语言层次结构

    利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到305名听取4.1小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

    Oct, 2021

  • 神经语言模型并非一出生就适合大脑数据，但训练有助于改善

    本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。

    Jul, 2022

  • 语言模型与脑部对齐：超越词级语义和预测

    本文探讨使用众多的文本数据训练出来的预训练语言机器，对人脑语言理解的预测能力。研究发现，这两者之间的相似性是由下个词的预测机制引起的。作者的实验发现，对机器的语料库进行特定的自然文本刺激文本预测下个词，可以显著提高他们与大脑记录的对齐程度。然而，他们指出与大脑记录对齐的提高不仅仅是由于词汇级别或多词级别语义的改善，他们通过调整词序进一步证实这一点。

    Dec, 2022

  • 大脑和语言模型中语言属性的联合处理

    本论文探讨了语言模型和大脑之间语言处理的关系，指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响，并提供了新的方法来揭示两个系统之间的信息处理.

    Dec, 2022

  • 利用语言模型绘制大脑地图：一项调查

    研究人员调查了超过30个研究、10个数据集和8个测量方法，发现大脑和语言模型激活有一些结构相似性，但现有证据还不充分，需要更多研究。

    Jun, 2023

  • 语言模型中的因果图重新发现人类叙事处理中的皮质层级

    通过比较语言模型特征对大脑活动的预测准确性，研究发现语言模型和人脑在语言信息处理方面存在相似性。

    Nov, 2023

  • 人脑语言处理的计算模型研究综述

    使用计算模型进行大脑研究需要丰富的测试数据集和严格的实验控制，该论文通过评估不同的计算模型在相同数据集上的表现，突出了计算模型在大脑研究中的新兴趋势。

    Mar, 2024

  • 脑语言表征导航：神经语言模型与心理合理模型的比较分析

    比较神经语言模型和心理可信模型，发现心理可信模型在多种多样的背景下（包括多模态数据集、不同语言等）表现更优，尤其是在融合具象信息的心理可信模型中，对单词和段落层面的大脑活动预测表现最佳。

    Apr, 2024

  • 基于浅层未训练多头注意力网络的类脑语言处理

    通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

    Jun, 2024