May, 2023

使用遮蔽注意力生成探测大脑上下文敏感性

PDF
TL;DR利用 GPT-2 变形金刚生成的单词嵌入来测试大脑对自然文本中背景信息的反应，结果表明语言网络中的大多数皮层对背景信息敏感，右半球对于较长场景的反应比左半球更敏感，支持以前的上下文敏感度分析并有助于量化每个体素的上下文整合窗口大小。
neurolinguisticsbrain regionslexical levelmasked-attention generationcontext sensitivity
发现论文，激发创造
  • 信息限制神经语言模型揭示不同脑区对语义、句法和语境的敏感性

    该研究使用信息限制的自然语言处理模型研究了神经语言学中与句法和语义处理有关的脑区及其空间组织，并发现左右半球在语义和句法处理方面存在差异且在上下文范围和集成窗口方面敏感性不同。

    Feb, 2023

  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019

  • 前馈模块控制遮蔽语言模型中的语境化

    通过对 Transformer 模型内部结构的分析，探讨了每个组件对文本语境化的作用，实验发现每个组件都对不同程度的语境化产生了影响，并且有些组件的作用相互抵消，更新了我们关于 Transformer 层各个组件作用的常见认识。

    Feb, 2023

  • 使用深度网络在大脑中区分语法和语义

    通过对 GPT-2 的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。

    Mar, 2021

  • 大型语言模型中的上下文翻译发生在哪里

    通过层次上的上下文遮蔽实验，我们证明了大型语言模型中存在一个任务识别点，该点将任务编码到输入表示中，不再需要注意上下文，同时还观察到在层次遮蔽时的低性能与任务识别层之间的对应关系，利用这种冗余性可在提示 5 个示例时节省 45% 的计算量，任务识别在第 14/32 层达到，并且层次微调实验表明对于 MT 微调来说，最有效的层次是关键的任务识别层。

    Mar, 2024

  • 基于循环神经网络的上下文感知自然语言生成

    本文研究了利用连续的语义表征通过递归神经网络生成特定情境下的自然语言的方法，提出了两种新方法，其中包含了注意力机制以解决因长序列引起的长程依赖问题，并在用户评论数据上进行了实验，展示了该方法生成的虚假评论非常自然，并且大部分能够躲过现有的虚假评论检测算法。

    Nov, 2016

  • 解读 Transformers 中的上下文查找：调查 Attention-MLP 交互

    通过研究注意力头与特定 “下一个标记” 神经元在预测特定标记的多层感知机中的相互作用，我们可以揭示激活特定下一个标记神经元的注意机制。具体而言，我们关注在较早层次中不同提示下始终激活相同下一个标记神经元的注意力头。我们的方法结合了神经解释和探测孤立组件，以阐明注意力如何在语境依赖的专门处理中发挥作用。

    Feb, 2024

  • ChatGPT-BCI: 使用 GPT、EEG 和眼动生物标志的语义推理阅读理解的词级神经状态分类

    通过联合分析大型语言模型、眼动数据和脑电图数据，本研究旨在研究人脑在阅读时对具有不同关联程度的关键词的词语的处理方式，并用特征工程方法改善相关脑电图数据的分类，从而为人类的认知能力和人工智能领域提供有价值的洞察，并为发展潜在的阅读辅助技术提供指导。

    Sep, 2023

  • BERTs 是生成上下文学习者

    本文探讨了掩码语言模型的上下文学习能力，挑战了常见观点，即这种能力在它们中并没有 ' 出现 '。我们提出了一种令人尴尬地简单的推理技术，使得 DeBERTa 能够作为一个生成模型进行操作，无需额外训练。我们的研究结果表明，DeBERTa 能够与甚至超过 GPT-3，后者以引入上下文学习范式而闻名。比较分析表明，掩码和因果语言模型的行为非常不同，它们在不同类别的任务上明显超越对方。这表明存在一个能充分利用两个训练目标优势的混合训练方法的巨大潜力。

    Jun, 2024

  • 扩展上下文的神经机器翻译

    探究在基于注意力的神经机器翻译中使用扩展上下文的效果，通过对电影字幕进行翻译实验，研究增加翻译单元之外的片段对源语言上下文和双语上下文扩展的影响，发现模型可以区分不同片段的信息，并且在一些情况下可以改善译文连贯性。

    Aug, 2017