Feb, 2024

与协作学习一起利用多样的建模背景进行神经机器翻译

PDF
TL;DR本研究提出了一种新颖的通用协作学习方法 DCMCL，在这种方法中，自回归模型（AR）和非自回归模型（NAR）被视为协作者，通过令牌级相互学习和序列级对比学习，在两种模型之间层次化地利用双向语境信息。广泛的实验结果表明，所提出的 DCMCL 方法可以同时改进 AR 和 NAR 模型的性能，分别提高了 1.38 和 2.98 个 BLEU 分数，并在 AR 和 NAR 解码方面也优于当前最佳统一模型，分别提高了 0.97 个 BLEU 分数。
autoregressive modelsnon-autoregressive modelsneural machine translationcontextual informationcollaborative learning
发现论文，激发创造
  • 使用单语数据提高非自回归神经机器翻译的性能

    利用大规模单语语料，基于知识蒸馏的方式提升非自回归神经机器翻译模型的效果，并成功地在 WMT14 En-De 和 WMT16 En-Ro 新闻翻译任务上验证了模型的性能提升。

    May, 2020

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 非自回归模型的序列生成研究

    该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。

    Apr, 2020

  • 非自回归机器翻译：速度不像看起来那么快

    本研究对非自回归模型及自回归模型在机器翻译中的效率进行了探究，并提出了对非自回归模型的进一步实验和评测。

    May, 2022

  • 帮助弱者使你强大：简单的多任务学习提升非自回归翻译者

    提出一种多任务学习框架，加强非自回归神经机器翻译模型的学习信号并改进其准确性。实验证明该方法可以在不增加解码开销的情况下稳定提升多个非自回归基准模型的准确性。

    Nov, 2022

  • 提高非自回归机器翻译的流畅度

    本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

    Apr, 2020

  • 基于编辑的非自回归神经机器翻译的强化学习

    非自回归（NAR）语言模型在神经机器翻译（NMT）中以低延迟著称。然而，由于较大的解码空间和准确捕捉目标单词间的依赖关系的困难，在 NAR 模型和自回归模型之间存在性能差距。为了解决这些挑战，我们将强化学习（RL）应用于编辑型 NAR 模型的典型例子 Levenshtein Transformer，通过使用自生成的数据，证明 RL 可以提高编辑型 NAR 模型的性能。我们探索了两种 RL 方法：逐步奖励最大化和情节奖励最大化，讨论了这两种方法的优缺点并进行了实证验证。此外，我们在实验中研究了温度设置对性能的影响，确认正确的温度设置对 NAR 模型的训练的重要性。

    May, 2024

  • 最近邻非自回归文本生成

    该研究提出一种新的训练策略，使用最近邻作为 NAR 解码器的初始状态，并进行迭代编辑来改进文本生成质量，结果表明该方法在机器翻译和数据到文本任务上均获得了较高的翻译质量和更少的解码迭代次数。

    Aug, 2022

  • 语音转文本非自回归建模的比较研究

    本文对不同的无自回归（NAR）建模方法进行了比较性研究，实验证明了 NAR 模型相较自回归基线的精度降低代价下，可以同时在序列中生成多个输出，具有在实时应用中优足的潜力，在自动语音识别领域的性能差距上得到了一些有趣的发现，并展示了结合这些技术来进一步提高精度并应用于无自回归端到端语音翻译的能力。

    Oct, 2021

  • 一种基于 EM 方法的非自回归条件序列生成方法

    本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

    Jun, 2020