Dec, 2022

CUNI WMT 22 高效翻译赛任务的非自回归系统

PDF
TL;DR我们提交了一个非自回归系统的解决方案，用于 WMT 22 高效翻译共享任务，并使用 12 层 Transformer 模型、连接主义时间分类和强有力的自回归教师模型知识蒸馏数据进行了训练，旨在建立扎实的基线和可靠的评估方法，特别是在测量解码速度方面。
non-autoregressive systemwmt 22 efficient translation shared tasktransformer modelconnectionist temporal classificationautoregressive teacher model
发现论文，激发创造
  • 使用连接时序分类的端到端非自回归神经机器翻译

    提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

    Nov, 2018

  • Volctrans GLAT 系统：非自回归翻译 Meet WMT21

    本论文介绍了 Volctrans 在 WMT21 新闻翻译共享任务中的贡献，利用 Glancing Transformer 构建并行翻译系统，取得了在德语 -> 英语翻译任务上的最佳 BLEU 得分（35.0），超过了所有强的自回归对应物。

    Sep, 2021

  • 非自回归机器翻译：速度不像看起来那么快

    本研究对非自回归模型及自回归模型在机器翻译中的效率进行了探究，并提出了对非自回归模型的进一步实验和评测。

    May, 2022

  • WMT19 鲁棒性任务的 CUNI 系统

    本文讨论了 CUNI Transformer 系统在 WMT19 Robustness Task 中的表现，以及通过在领域内嘈杂数据上进行精细调整，提高模型性能，而不影响新闻领域的翻译质量。

    Jun, 2019

  • 非自回归神经机器翻译的模仿学习

    本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

    Jun, 2019

  • 非自回归神经机器翻译：呼唤清晰度

    本文旨在改进非自回归方法在机器翻译方面的表现，探讨了多种技术提升其翻译质量和效率，并将其在四个翻译任务上进行了评估，考虑到 tokenized BLEU 的使用不一致，我们贡献了标准化的 BLEU、chrF++ 及 TER 得分，并将代码开源集成于 fairseq 中以便重现研究结果。

    May, 2022

  • WMT16 自动后编辑和多模式翻译任务中的 CUNI 系统

    本文利用最近发表的多种神经序列学习方法，构建用于 WMT 2016 共享任务的自动后期编辑和多模态机器翻译系统。

    Jun, 2016

  • 提高非自回归机器翻译的流畅度

    本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

    Apr, 2020

  • WMT 2022 高效率任务的 RoyalFlush 系统

    本文描述了皇家同花顺神经机器翻译系统提交至 WMT 2022 翻译效率任务，采用了两阶段的混合回归翻译系统，并且通过整合其他建模技术和大量工程努力，达到了与同样容量的 AT 对手相当的翻译性能，并且带来 80％的推理速度提升。

    Dec, 2022

  • 非自回归神经机器翻译

    本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

    Nov, 2017