ACLMay, 2021

文档级机器翻译的 G-Transformer

PDF
TL;DR通过引入归纳偏置（locality assumption）作为一种假设，从目标到源的注意力的假设空间减小，来解决翻译单元扩展至整个文档时出现的训练失败问题，我们提出了 G-Transformer。实验表明，G-Transformer 比 Transformer 更快、更稳定地收敛，在三个基准数据集上实现了新的最优 BLEU 分数。
发现论文，激发创造
  • 重新思考文档级神经机器翻译

    通过合适的训练技术，使用原来的 Transformer 模型可以在涉及长度 2000 个单词的文档级别的翻译中取得比句子级别的模型更好的表现，并且在六种语言的九个文档级别和两个句子级别的数据集上，使用包括 BLEU，四个词法指标，三个新提出的辅助语言指标和人类评估在内的全面指标，证明了文档级别 Transformer 模型的优越性。

    Oct, 2020

  • 基于线性关注力模型建模上下文，实现可扩展的文档级翻译

    本文研究了一种基于 Peng et al. (2021) 的线性注意力模型，并通过句子门促进最近归纳偏置，以提高文档级机器翻译的效能和翻译质量，并在 IWSLT 2015 和 OpenSubtitles 2018 上进行了评估和测试，结果表明该模型在长序列的解码速度方面有大幅提高，且翻译得分相似或更高，并展示了句子门进一步提高了 IWSLT 上的翻译质量。

    Oct, 2022

  • 学习记忆：用循环记忆的 Transformer 进行文档级机器翻译

    介绍了一种新的循环记忆单元来加强 Transformer 框架下文档级机器翻译的一致性，提出了一种两阶段的训练策略，实现了在三个流行数据集上的优异表现，并在 TED 和 News 数据集上实现了比过去最好结果更好的结果。

    May, 2022

  • 使用文档级上下文来改进 Transformer 翻译模型

    该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

    Oct, 2018

  • 神经机器翻译中充分利用上下文的探索

    通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。

    Feb, 2020

  • 使用原始 Transformer 对机器翻译任务进行有效的通用领域数据收录

    本文介绍了一种基于 Transformer 模型的系统，旨在将德语源句子翻译成其英语目标句子，通过 WMT'13 数据集上的新闻评论德英平行句子的实验，我们发现在训练中加入 IWSLT'16 数据集的泛领域数据可以提高 Transformer 模型性能的 2 个 BLEU 分数点，从而改善生成翻译句子的质量。

    Sep, 2022

  • 使用 Transformer 模型联合学习对齐和翻译

    本文介绍了一种用 Transformer 模型进行机器翻译和单词对齐的方法，实现了较高的翻译与对齐准确率，同时在多项测试中优于之前的 Transformer 模型单词对齐方法。

    Sep, 2019

  • 只需 5% 的注意力：高效的长距离文档级神经机器翻译

    通过引入基于轻量级注意力的额外选择层，我们在保持翻译性能的同时加快了 20％的速度，能够实现将注意力仅集中在约 5％的令牌上，从而节省了 93％的计算成本。

    Sep, 2023

  • WMT19 中的英捷系统：文档级 Transformer

    本文介绍在 WMT19 共享任务中，我们采用 Transformer 模型和 document-level 训练方式，用于英捷克翻译，以提高翻译文件的充分性和连贯性。

    Jul, 2019

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023