EMNLPDec, 2021

人类引导下解释性注意力模式在摘要和主题分割中的应用

PDF
TL;DR该论文介绍了一种结合人机交互的流程来发现重要的任务特定的注意力模式，然后注入到原始模型和较小的模型来提高模型的准确性与效率，取得了在提取式摘要和主题分割方面显著提高的结果。
transformer modelmulti-head self-attention mechanismattention augmentation methodsextractive summarizationtopic segmentation
发现论文，激发创造
  • 自注意力归因：解释 Transformer 内部的信息交互

    本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

    Apr, 2020

  • 使用 Transformer 引导自监督学习的注意力机制

    该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

    Oct, 2020

  • Transformer 模型是否显示出与任务特定的人类凝视类似的注意力模式？

    通过比较两个任务特定的阅读数据集，研究表明，大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质，而任务特定的微调不增加与人类阅读的相关性，并且通过输入减少实验给出了互补信息，表明低熵的注意向量更为可靠。

    Apr, 2022

  • 揭示 BERT 的黑暗秘密

    本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。

    Aug, 2019

  • Transformer 注意力头对抽象摘要提供透明度吗？

    通过分析 transformer 中 attention heads 的分布，我们探讨了并提出一种方法来评估 Transformer 模型特定 attention distributions 的依赖程度，从而讨论了使用注意分布作为可解释性手段的含义。在某些 attention heads 确实专门用于句法和语义不同的输入的基础上，我们提出了一种贡献方式，以提高其可解释性，这对于所有 NLP 任务是否有效等进行了讨论。

    Jul, 2019

  • 多任务学习下多头注意力中的功能专业化解释与利用

    通过对 Transformer 模型的多头注意力机制进行解释和多任务训练，提出功能专门化的方法来改善模型性能。实验证明多头注意力在多任务训练后会发展功能专门化现象，并且这种训练策略能够提高多任务学习和迁移学习的性能，而不增加任何参数。

    Oct, 2023

  • 总结系统编码器 - 解码器注意力中的稀疏性和句子结构

    研究表明摘要任务中有稀疏的句子结构，可以用部分输入句子来限制编码器 - 解码器注意机制，并保持系统性能。

    Sep, 2021

  • 抽象化摘要中的推理时间内容选择的注意力头掩蔽

    本研究提出了一种简单而有效的关注头屏蔽技术，应用于编码器 - 解码器注意力以确定推断时显着的内容，对三个摘要数据集进行了演示，证明了其在数据效率和性能上的优越性。

    Apr, 2021

  • 抽象化摘要中的多头注意力理解

    本文研究了适用于抽象总结的多头自注意机制的可解释性，介绍了三个度量衡来评估关注头的重要性，发现相对位置的头对总结表现至关重要，不建议弃掉，而强制稀疏性似乎不能显着提高可解释性。

    Nov, 2019

  • EyeTrans: 人机融合关注力在神经编码摘要中的应用

    通过将人的注意力纳入到 Transformer 模型中，本研究提出了一种用于增强神经代码摘要的方法，名为 EyeTrans。将人的注意力与机器的注意力相结合引起了功能摘要性能高达 29.91％以及通用代码摘要性能高达 6.39％的改善，同时对 AI 在软件工程领域的研究提供了更多以人为中心的方法和数据。

    Feb, 2024