EMNLPOct, 2023

转换器语言模型中的合理性处理：关注 GPT 中 Attention Heads 的作用

PDF
TL;DR本文旨在探索 Transformer 语言模型如何处理语义知识，尤其是名词 - 动词关系的合理性。首先，作者证明了 GPT2 在合理性处理方面与人类相比具有更高的相似度；其次，作者深入研究了 GPT2 中合理性知识如何体现在注意力头中，以及这些头对 GPT2 的合理性处理能力的因果影响。通过多个实验，发现：i) GPT2 有多个注意力头能够检测具有合理名词 - 动词关系；ii) 这些头共同对 Transformer 处理合理性的能力有贡献，尽管贡献的程度不同；iii) 注意力头在检测合理性方面的个体表现不一定与它们对 GPT2 的合理性处理能力的贡献程度相关。
transformer language modelssemantic knowledgeplausibility processingattention headsnoun-verb relationships
发现论文，激发创造
  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019

  • 解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

    通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

    May, 2023

  • Transformer-Based 语言模型注意力头中的偏见分析

    通过对注意力头的偏见分析框架，发现预训练语言模型中存在有偏头部，这有助于对模型公正性进行评估和指导有效减轻策略的开发。对 BERT 模型和 GPT 模型的性别和种族偏见进行了广泛的实验研究，进一步理解了预训练语言模型中的偏见行为。

    Nov, 2023

  • 限制记忆能力的语言模型捕捉人类句子处理中的干扰

    该研究通过开发一个具有单个自注意头的循环神经语言模型，捕捉到了人类实验中观察到的语义和句法干扰效应。

    Oct, 2023

  • 关注实体以获得更好的文本理解

    在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

    Nov, 2019

  • 关于大语言模型的规划、搜索和记忆能力

    通过对 GPT-4 在规划子领域中的表现进行全面检查，我们鉴定了大型语言模型在解决规划问题方面的优势和限制，并提出了改进领域特定大型语言模型的思维链能力的方法。这些结果为大语言模型在规划领域的潜在应用提供了宝贵的见解，并为未来的研究克服其限制和拓展其能力铺平了道路。

    Sep, 2023

  • 解读 Transformers 中的上下文查找：调查 Attention-MLP 交互

    通过研究注意力头与特定 “下一个标记” 神经元在预测特定标记的多层感知机中的相互作用，我们可以揭示激活特定下一个标记神经元的注意机制。具体而言，我们关注在较早层次中不同提示下始终激活相同下一个标记神经元的注意力头。我们的方法结合了神经解释和探测孤立组件，以阐明注意力如何在语境依赖的专门处理中发挥作用。

    Feb, 2024

  • 基于 Transformer 的语言模型中实际回忆的关键机制解析

    本文详细探讨了基于 Transformer 的语言模型在事实回忆任务中所使用的机制，包括零样本场景中通过任务特定的注意力头提取主题实体并传递给后续 MLP 以回忆所需答案，以及少样本场景中相同的机制。此外，我们还观察到在模型的最后一层存在普遍的抑制正确预测的反过度自信机制，并通过利用我们的解释来改善事实回忆性能。

    Mar, 2024

  • 探究神经机器翻译中注意力的解释能力

    本文通过引入反事实的注意力模型，评估了注意力模型在神经机器翻译中的解释能力，结果表明注意力模型无法可靠地解释 NMT 模型的决策。

    Sep, 2019

  • 使用一致的概念抽象建立事件可信度模型

    本文研究证明对自然语言的理解需要常识，其中之一是辨别事件的可信度。这篇论文探讨了基于 Transformer 的可信度模型在词汇等级概念类别方面的不一致性，并提出了强制模型一致性的后续方法，以提高与人类可信度判断的相关性。

    Apr, 2021