Feb, 2020

LAVA NAT: 一种无自回归翻译模型，具备环视解码和词汇关注机制

PDF
TL;DR本文提出了两种新方法，即 Look-Around 策略和 Vocabulary Attention 机制，以解决非自回归翻译（NAT）模型中常见的多模态问题，并使用动态双向解码方法加速 LAVA 模型的推理过程，从而显著减少了推理时间成本，同时保持了高质量的生成输出与竞争性能的表现。
non-autoregressive translationlook-around strategyvocabulary attentiondynamic bidirectional decodinginference efficiency
发现论文，激发创造
  • 具有依赖感知解码器的非自回归翻译

    本文提出了一种能够从两个角度增强神经机器翻译（Non-autoregressive translation）解码器内部的目标依存性的新方法，并在四个 WMT 翻译任务上进行试验。结果表明，该方法相较于其他神经机器翻译方法，能够将 BLEU 得分提高 1.88 分而且性能并不受影响。

    Mar, 2022

  • 将本地翻译机制融入非自回归翻译中

    本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次数下取得了可比或更好的性能，加速了 2.5 倍。进一步的分析表明，我们的方法减少了重复翻译，并且在较长的句子上表现更好。

    Nov, 2020

  • 带增强解码器输入的非自回归神经机器翻译

    本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

    Dec, 2018

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • 基于 Transformer 的语音自动识别模型，考虑词汇语义的非自回归模型

    提出了一种基于 Transformer 的、有词汇感知的自动语音识别框架，可以同时训练语音和文本数据，并松弛条件独立性，实现更快的解码速度和较好的性能。实验结果表明，该模型比其他最近提出的非自回归 ASR 模型更具优越性，并且比大多数非自回归 ASR 模型更为简洁，解码速度是经典自回归模型的 58 倍。

    May, 2023

  • 非自回归神经机器翻译的任务级课程学习

    本研究提出了一种训练曲线，通过任务级别的课程学习（TCL-NAT）将模型训练从更简单的自回归翻译（AT）任务平滑转移到困难的非自回归翻译（NAT）任务，其中引入了中间任务 - 半自回归翻译（SAT），可以通过调整参数 k，平衡翻译速度和准确性，达到在四个数据集上显著提高翻译准确性的效果。

    Jul, 2020

  • 非自回归翻译的上下文感知交叉注意力

    本研究针对非自回归翻译中 decoder 缺乏目标依赖建模的问题，提出一种基于跨注意力增强源上下文信息的方法，实验表明该方法能够改善翻译质量并更好地利用源语句的局部和全局信息。

    Nov, 2020

  • 辅助规则下的非自回归机器翻译

    本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

    Feb, 2019

  • 非自回归 Transformer 模型的学习

    本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

    Jun, 2022

  • 邻居不是陌生人：在低频词汇限制下改进非自回归翻译

    该研究探讨了非自回归翻译方法中因最近度高而导致的限制条件处理不良的问题，并提出一种基于 source-side context 的插件算法，即 Aligned Constrained Training，来提高翻译品质，尤其针对一些不常见的限制条件。

    Apr, 2022