介绍我们在 WMT20 共享新闻翻译任务中使用的 VolcTrans 系统，该系统基于 Transformer，包括文本预处理、数据选择、合成数据生成、高级模型集成和多语言预训练。

Oct, 2020

本报告介绍了我们的 VolcTrans 系统，它是一个基于 Transformer 的多语言模型，使用从多个来源收集的数据进行训练，包括来自数据轨道的公共训练集，由 Meta AI 提供的 NLLB 数据，自收集的平行语料库和来自反向翻译的伪双语文本。在官方测试集上，我们的系统实现了 17.3 BLEU，21.9 spBLEU，和 41.9 chrF2 ++，平均所有语言对的推理速度为每秒 11.5 句，使用单个 Nvidia Tesla V100 GPU。

Oct, 2022

我们提交了一个非自回归系统的解决方案，用于 WMT 22 高效翻译共享任务，并使用 12 层 Transformer 模型、连接主义时间分类和强有力的自回归教师模型知识蒸馏数据进行了训练，旨在建立扎实的基线和可靠的评估方法，特别是在测量解码速度方面。

Dec, 2022

提出了一种基于 Glancing Language Model 的机器翻译方法，通过单次并行解码，实现了高效率、高质量的机器翻译效果，使得单次非自回归方法的性能优于以往所有方法，并且与 Transformer 相当，缩小了 0.25-0.9 BLEU 分数差距。

Aug, 2020

本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

Nov, 2017

该论文介绍了 Volctrans 团队在 IWSLT 2021 中提交的系统，包括离线语音翻译和文本 - 文本同时翻译。他们采用端到端模型进行离线语音翻译，在 MuST-C 测试集上比基准结果提高了 8.1 BLEU 分值，并接近强级联解决方案的结果。针对文本 - 文本同时翻译，他们探索了最优的 wait-k 模型实践，并且在相同的延迟范围内超过了基准结果约 7 BLEU 分值。他们已发布代码和模型以促进未来的研究工作和工业应用。

May, 2021

本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

Jun, 2019

本文介绍了第七届机器翻译会议的机器翻译任务自动评估，其中评估了 185 种系统，包括高资源到低资源语言对和从密切相关到远离的语言。自动度量标准 chrF、BLEU 和 COMET 可以相互补充以减轻解释性和准确性方面的限制，并凸显了当前最先进的机器翻译系统的一些局限性。

Sep, 2022

本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现了翻译质量和解码速度之间的良好平衡。

Aug, 2018

本文介绍了悉尼大学参加 WMT 2019 共享新闻翻译任务的提交。通过将学术研究中的最新的有效策略（例如，BPE、回译、多特征数据选择、数据增强、贪婪模型集成、reranking、ConMBR 系统组合和后处理）与自注意力 Transformer 网络相结合，提出了一种新的增强方法 Cycle Translation 和数据混合策略大 / 小并行构建，全面利用合成语料库。大量实验证明，添加上述技术可以使 BLEU 分数不断提高，最佳结果比基准线（使用原始平行语料库训练的 Transformer 集成模型）的 BLEU 分数高出约 5.3 个 BLEU 分，达到最先进的表现。

Jun, 2019