EMNLPMar, 2022

测量 Transformer 中上下文信息的混合

PDF
TL;DR该论文提出了一种名为 ALTI 的方法，通过考虑注意力模块（multi-head attention, residual connection and layer normalization）以及定义一种新的度量方法来测量各层之间的令牌交互，从而提供更准确的输入归因分数以解释模型预测，在实验中显示 ALTI 比基于梯度方法更好地提供了模型预测的解释，提高了模型的鲁棒性。
transformer architectureself-attention mechanismattention blockinput attribution scoresalti
发现论文，激发创造
  • 自注意力归因：解释 Transformer 内部的信息交互

    本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

    Apr, 2020

  • 变形金刚中的注意力流量量化

    本文提出两种方法 —— 注意力展开和注意力流 —— 用于近似计算相对于输入令牌的注意力权重，以解决在 Transformer 模型中，由不同令牌产生不同的信息流动混合，使得注意力权重不可靠作为解释探针的问题。与原始注意力相比，这两种方法均具有更高的输入梯度基于消融法重要性评分相关性。

    May, 2020

  • Transformer 模型中上下文混杂的量化

    本文提出了一种针对 Transformer 模型的上下文混合得分方法 Value Zeroing，用于分析模型中各个编码层次信息混合的方式，并通过多种评估方法验证了该方法的优越性。

    Jan, 2023

  • Transformer 中的可识别性

    研究 Transformer 模型中的自注意力和语境嵌入等核心组件，提出了有效关注作为解释注意力的补充工具，展示了输入标记在模型中保持其身份，并发现身份信息主要编码在嵌入的角度中，并且随着深度的增加而逐渐降低，同时利用梯度归因方法展示了输入信息在产生语境嵌入时的强烈混合，最终展示了更好地理解和进一步研究 Transformer 模型所需的工具。

    Aug, 2019

  • 变压器中的注意力 - 相似度关系

    我们分析了大型语言模型（LLMs）如何表示上下文之外的单词，研究它们依赖所给上下文来捕捉其语义的情况。我们的文本扰动指导了似然性，揭示了变形器模型中令牌似然性和注意力值之间的相关性。广泛的实验表明，意外的令牌会导致模型不太关注来自自身的信息以计算它们的表示，特别是在较高的层次上。这些发现对于评估 LLMs 在真实世界场景中的鲁棒性具有重要的影响。

    Mar, 2023

  • 将残差和归一化层引入掩码语言模型分析中

    通过全面分析 Transformer 架构（多头注意力、残差连接和层归一化）来研究其性能表现，发现中间表示的交互通过注意力执行的作用比先前假定的要小，并提供了新的直观解释。

    Sep, 2021

  • 从局部注意力到全局聚合：深入探究 BERT

    通过使用梯度归属法分析，我们找出了自注意力头在 transformer 架构中的局部行为与全局行为之间的区别。此外，我们观察到，尽管混合上下文信息导致了注意力和归属度量之间有明显的偏差，但有些特定的模式在深度学习的所有层都是存在的。

    Apr, 2020

  • Transformer 模型中的注意力的多尺度可视化

    通过使用注意力机制，Transformer 模型不仅在性能上有所提升，同时还可通过可视化工具展示模型如何赋权于不同的输入元素，从而实现模型的解释和解读，本文提出了一种开源的基于多尺度可视化注意力机制的工具，并在 BERT 和 OpenAI GPT-2 上进行了演示，包括检测模型偏差、定位相关注意力头和链接神经元到模型行为等三个应用案例。

    Jun, 2019

  • 通过加权相关累加实现通用注意力模型的解释性

    我们提出了一种加权相关性策略，考虑了令牌值的重要性，以减少在平等累积相关性时的失真。通过 CLIP 编码器和后续的映射器，我们提出了统一的基于 CLIP 的两阶段模型，命名为 CLIPmapper，用于处理视觉和语言任务，通过自注意、交叉注意、单模态和交叉模态注意，这使得我们的通用可解释性方法更加合适。对视觉问答和图像字幕进行的广泛扰动测试证实了我们的可解释性方法优于现有的方法。

    Aug, 2023

  • 基于句间注意力机制改进基于 Transformer 的对话语音识别

    本文提出了一种基于 Transformer 的端到端架构方法，在自动语音识别中精确建模跨话语的语境依赖，通过引入上下文感知残余注意机制，对先前语音的上下文进行编码，同时，还采用条件解码器框架将历史语言信息融入到当前预测中，结果表明该方法在几种公开对话语料库上都取得了持续的改进

    Jul, 2022