May, 2019

利用大脑的自然语言处理能力解释和改进机器的自然语言处理

PDF
TL;DR提出了一种新颖的解释方法，利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入，研究它们在层深度、上下文长度和注意类型之间的差异，并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。
neural networksnlpbrain imagingbertcognitive neuroscience
发现论文，激发创造
  • 诱导自然语言处理模型中的大脑相关偏倚

    本研究证明对 BERT 模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

    Oct, 2019

  • 研究人类大脑句子理解的深度学习模型

    回顾了和人脑活动相关的人工语言模型研究，发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合，并且人工神经网络内部的处理层次与人脑有相似之处，但是依据研究的不同而有所不同。因此，建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。

    Jan, 2023

  • 神经语言模型并非一出生就适合大脑数据，但训练有助于改善

    本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。

    Jul, 2022

  • 人工和人类神经语言表示的关联

    对比句子编码模型在大脑解码任务上的表现，发现语法轻量级表示能够显著提高脑解码性能，这一结果限制了自然语言理解模型解释人类大脑语言功能的空间，同时也揭示了使用 fMRI 人脑成像技术解码精细句法信息的局限性。

    Oct, 2019

  • 训练语言模型概括叙述能够提高大脑对齐

    训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发，研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解，并表明了这种训练可以带来更好的大脑 - 自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。

    Dec, 2022

  • 基于浅层未训练多头注意力网络的类脑语言处理

    通过研究大型语言模型，该论文揭示了语言模型与人类大脑的相似性，重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素，最终提出了一种高度与人类大脑和行为对齐的模型。

    Jun, 2024

  • 将机器语言模型推广至人类水平的语言理解

    语言是理解和交流情境的关键，而语言处理系统使用类似人脑的神经网络以及查询注意力等方法来提高其能力，但当前的模型主要集中在内部语言任务上，限制其理解情境的能力，因此需要未来的模型应用认知神经科学和人工智能来扩展理解任务。

    Dec, 2019

  • 自然语言处理神经网络模型入门

    该论文介绍了神经网络模型在自然语言处理中的应用及其相关技术，包括自然语言编码、前馈网络、卷积网络、循环网络和递归网络，以及自动梯度计算的计算图抽象。

    Oct, 2015

  • 语言模型与人脑的差异

    研究发现，虽然语言模型和人类在处理语言时存在共同的计算原理，但它们在获取和使用语言方面存在明显差异，本研究通过比较语言模型的表示和人类大脑对语言的反应，发现语言模型并未很好地捕捉到情感理解、比喻语言处理和物理常识等三个现象，通过针对这些现象进行语言模型的细化调整，发现细化调整后的语言模型在这些任务中与人类大脑的反应更加一致，因此我们认为语言模型与人脑之间的差异可能源于语言模型对这些特定类型的知识的不足表示。

    Nov, 2023

  • 大脑和语言模型中语言属性的联合处理

    本论文探讨了语言模型和大脑之间语言处理的关系，指出语言模型中特定的语言学信息对大脑对语言刺激的反应有显著的影响，并提供了新的方法来揭示两个系统之间的信息处理.

    Dec, 2022