EMNLPOct, 2023

一种孪生编码器的归因方法

PDF
TL;DR该研究通过将相对于单个输入的集成梯度原理推广到具有多个输入的模型，导出了一种用于 Siamese 编码器的局部归因方法。该方法采用特征对归因的形式，并可简化为用于 sentence transformers 的令牌 - 令牌矩阵。通过关注名词和动词，该方法的初步研究表明，在 ST 中，少数令牌对通常能够解释大部分预测结果。然而，为了准确预测，它需要关注大多数令牌和词性。
siamese encoder modelssentence transformerslocal attribution methodintegrated gradientstoken-token matrix
发现论文，激发创造
  • 现成孪生 transformer 网络的近似归属度

    对 Siamese encoders 进行了方法验证，分析了其对语言学不同方面的关注，以及其词汇偏好。

    Feb, 2024

  • 自注意力归因：解释 Transformer 内部的信息交互

    本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

    Apr, 2020

  • GlobEnc: 在 Transformer 中使用整个编码器层来量化全局标记归因

    本文提出了一种新的 token 指定分析方法，将编码器块中的所有组件结合起来并在各层中进行聚合，通过广泛的定量和定性实验，证明我们的方法可以产生忠实和有意义的全局 token 指定，引入几乎每个编码器组件在本地 (单层) 和全局 (整个模型) 设置下的分析结果表明，我们的全局指定分析在与基于梯度的显著性分数相关的各种任务方面显著优于先前的方法，我们的代码可在此 https URL 免费获取。

    May, 2022

  • Siamese 神经网络的解释方法

    本文提出一种新的解释孪生神经网络的方法，使用嵌入层级别的原型与特征向量进行比较，应用自编码器重构输入数据并在 MNIST 数据集上进行了数值实验。

    Nov, 2019

  • 注意力作为同时语音翻译的指南

    本文提出了一种基于注意力机制和编码器 - 解码器注意力进行实时推理的注意力策略，并在 en -> {de, es} 上进行了测试，结果表明与现有技术相比，该策略在计算感知延迟方面的性能要好得多。

    Dec, 2022

  • 句子嵌入模型中的表示偏差

    本文研究表明，SOTA 句子转换器具有强烈的从属名词集偏差，这种偏差是在词汇和语法结构预定义的条件下得出的。此外，该研究还发现，成对句子之间的余弦相似度更受其名词成分集的重叠程度影响，而对于其他更精细的句法语义成分则不那么敏感。

    Jan, 2023

  • 来自不同监督信号的句子嵌入的比较和组合

    本文探讨了两种类型的句子嵌入方法对于语义文本相似度任务性能的影响，发现 fine-tunes 预训练语言模型在自然语言推断和单词预测任务中使用能够提高性能，而且将两种方法相结合能够比单个方法取得更好的效果。

    Feb, 2022

  • 相关嵌入式 Transformer 跟踪：单分支框架

    开发强大和区分性外观模型一直是视觉目标跟踪领域中的一个长期研究挑战。我们提出了一个受 Transformer 启发的新颖单分支跟踪框架 ——SuperSBT，通过在特征网络的多个层次深度嵌入跨图像特征相关性，从而压制非目标特征，实现目标感知特征提取。与传统的双分支 Siamese 跟踪法不同，SuperSBT 能直接用于预测目标位置，提高了跟踪速度，并在多个基准测试上展现了优异的结果。

    Jan, 2024

  • 测量 Transformer 中上下文信息的混合

    该论文提出了一种名为 ALTI 的方法，通过考虑注意力模块（multi-head attention, residual connection and layer normalization）以及定义一种新的度量方法来测量各层之间的令牌交互，从而提供更准确的输入归因分数以解释模型预测，在实验中显示 ALTI 比基于梯度方法更好地提供了模型预测的解释，提高了模型的鲁棒性。

    Mar, 2022

  • GateNLP-UShef 参加 SemEval-2022 任务 8：用实体增强的 Siamese Transformer 进行多语言新闻文章相似性计算

    本文描述了 SemEval-2022 任务 8 排行榜上排名第二的系统。我们提出了一种基于实体增强的连体 Transformer，根据新闻文章中讨论的事件的共享叙述、实体、位置和时间等不同子维度计算新闻文章相似性。

    May, 2022