EMNLPSep, 2021

使用高斯混合模型建模 Neural Machine Translation 的集中交叉注意力

PDF
TL;DR本研究提出了一种新的交叉注意力方法 —— 集中注意力，并使用高斯混合模型 (GMM) 进行建模，实验证明该方法在机器翻译中具有明显的性能优势，尤其在对长句的处理、对齐质量和 N 元准确性方面取得了显著的提升。
neural machine translationcross-attentionconcentrated attentiongaussian mixture modelalignment quality
发现论文，激发创造
  • 高斯注意力模型及其在知识库嵌入和问答中的应用

    该论文提出了高斯注意模型，该模型用于神经记忆访问，知识库的连续向量空间嵌入，实现对知识库实体的问答，并成功应用于 2014 年 FIFA 世界杯球员数据集的路径和联合查询。

    Nov, 2016

  • 神经机器翻译的语法导向注意力

    本文提出了一种在一个新的句法距离约束下扩展局部注意力的神经机器翻译模型，同时进一步提出了一个双重上下文神经机器翻译体系结构，以提高翻译性能。实验证明，该方法从源表示中实现了显著和重大的改进。

    Nov, 2017

  • 多模态注意力神经机器翻译

    本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

    Sep, 2016

  • 神经机器翻译的稀疏和约束注意力

    本文提出了一种新颖的方法来解决 NMT 中的 “coverage problem”，通过给源语言单词分配 “fertilities” 来限制每个单词可以接收的注意力，同时提出了一种新的稀疏的注意力变换方式 “sparsemax”，并在三种语言对上进行实证评估。

    May, 2018

  • 神经机器翻译的覆盖率建模

    本文提出基于 coverage 的 NMT 模型通过维护一个 coverage 向量来跟踪 Attention 历史信息，帮助调整未来 Attention，从而显著提高了传统 attention-based NMT 的翻译和对齐质量。

    Jan, 2016

  • 跨注意力就是你所需要的：将预训练变换器应用于机器翻译

    本研究探讨 Transformer 架构中交叉注意力在机器翻译领域迁移学习中的能力，并在从头开始训练的情况下扩展交叉注意力的研究结果，结果显示细调整仅交叉注意力参数与细调整所有参数（即整个翻译模型）的效果相似， 细节说明为什么这是这种情况，并且发现以这种方式限制细调整可以产生交叉语言嵌入。研究结果可以用于减轻灾难性遗忘，实现零 - shot 翻译，并将机器翻译模型扩展到多个新语言对，减轻参数存储开销。

    Apr, 2021

  • 神经机器翻译中生成的前瞻注意力

    该论文提出了一种新型的前瞻性注意机制，旨在直接捕捉目标单词之间的依存关系。实验表明，该前瞻性注意机制在机器翻译任务上取得了显著的改进。

    Aug, 2017

  • 用 GRU 门控注意力模型进行神经机器翻译

    本文提出了一种新的 GRU 门控注意力模型，可以通过使源表示对编码器状态敏感，从而增强了上下文向量的区分度，实现了对目标单词的区分性预测，并在 NIST 中英翻译任务中取得了显著的改进。

    Apr, 2017

  • 基于注意力机制的神经机器翻译有效方法

    本文研究了两种简单而有效的注意力机制 —— 全局式和局部式，证明了这两种方法在英德翻译任务中的有效性，并使用不同的注意力架构建立了一个新的 WMT'15 英德翻译任务最佳结果的集成模型，其 BLEU 分数为 25.9 分，比现有的最佳基于 NMT 和 n-gram reranker 的系统提高 1.0 分。

    Aug, 2015

  • 探究神经机器翻译中注意力的解释能力

    本文通过引入反事实的注意力模型，评估了注意力模型在神经机器翻译中的解释能力，结果表明注意力模型无法可靠地解释 NMT 模型的决策。

    Sep, 2019