ACLOct, 2020

神经机器翻译中源语言和目标语言对预测的贡献分析

PDF
TL;DR本文从神经机器翻译、层次关联传递、Transformers 等角度入手，采用一种变体的 LRP 方法，研究表明更多的训练数据使得 NMT 模型更多的依赖于源信息并且具有更明确的令牌贡献。
neural machine translationlayerwise relevance propagationtransformertraining datasource information
发现论文，激发创造
  • 探索神经机器翻译中的黑匣子：Transformer 的源语言和目标语言解释

    该研究提出了一种追踪输入标记对预测结果影响的解释性方法，该方法可应用于任何编码器 - 解码器的 Transformer 模型，帮助更好地理解当前 NMT 模型的内部工作原理和行为。

    May, 2022

  • 上下文感知的神经机器翻译中的目标数据推广

    该研究通过拼接语境的方法，研究了在标准文档级神经机器翻译中，是否应进一步提升目标语言的上下文对翻译结果的影响，实验结果表明，在目标语言现象上，将目标语言上下文加入到源语言端能够有显著的提升，而在依赖于源语言的现象方面，将源语言和目标语言的上下文同时加入源语言端能够在所有指标上都有显著的提升。

    Feb, 2024

  • 神经机器翻译的上下文门控制

    为解决传统神经机器翻译技术所存在的译文质量缺陷问题，我们提出了一种名为 context gates 的动态控制算法，旨在更加细致地控制源与目标语境对目标词汇生成的影响比率，实验结果显示较传统注意力机制神经机器翻译系统提升 2.3 BLEU 分数。

    Aug, 2016

  • 解释 Transformer 如何利用上下文来建立预测

    本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

    May, 2023

  • 情感分析中解释循环神经网络预测

    本文提出了将 Layer-wise Relevance Propagation 扩展到递归神经网络的方法，并应用于五分类情感预测任务中的双向 LSTM 模型，其结果 qualitatively and quantitatively 均优于之前工作中使用的基于梯度的方法。

    Jun, 2017

  • 正则化上下文门控制在 Transformer 机器翻译中的应用

    本文提出了一种在 Transformer 架构中引入 context gates 的方法，以控制源和目标的贡献。此外，还提出了一种规范化方法，以自动产生的点间互信息来指导门控的学习。在 4 个翻译数据集上的实验证明，该模型相对于强基线模型提高 1.0 的 BLEU 分数。

    Aug, 2019

  • 更加注意源语言上下文：减轻大型语言模型带来的不忠译

    在这篇研究中，我们提出了一种方法来解决大型语言模型在翻译过程中因未对齐问题而导致的不准确翻译的困扰，该方法通过调整源语言和目标语言的注意力权重、压制无关目标前缀的影响以及避免过度依赖目标前缀来改善翻译质量，实验证明该方法在多种语言对上的效果显著，有效地减少幻觉式翻译，并促进准确翻译的生成。

    Jun, 2024

  • AttnLRP：面向 Transformer 的注意力感知分层相关传播

    扩展対面层级相关传递方法以处理注意力层可以实现对大型语言模型进行准确且高效的非黑盒推理解释。

    Feb, 2024

  • 通过点亮重要信息更好地解释 Transformers

    提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。

    Jan, 2024

  • 深入探究深度学习模型：基于归因的 TextCNN 解释

    本文提出了一种基于 Convolutional Neural Networks 的特征评估方法用于比较 LRP 与 saliency map 两种模型解释方法的效果，依据实验研究结果，我们采用嵌入式特征的删减而非删减权重高的单词，并在文本分类的应用领域提供了一种可视化工具来辅助分析人员理解模型的结果。

    Nov, 2018