May, 2019

Unbabel 参加 WMT2019 APE 共享任务：基于 BERT 的自动后编辑编码器 - 解码器

PDF
TL;DR针对英德翻译领域，Unbabel 利用 BERT 预训练模型，开发了基于 BERT 的编码器解码器模型 (BED)，通过对保守性因子的研究，将其与神经机器翻译系统相结合，使得翻译质量大幅提高，成为英德自动后编辑领域新的最高水平。
发现论文，激发创造
  • MS-UEdin 提交给 WMT2018 APE 共享任务的论文：用于自动后期编辑的双源 Transformer

    这篇论文介绍了微软和爱丁堡大学 2018 年 WMT 共享任务中的自动后编辑竞赛，利用上一次共享任务的训练数据和系统，重新实现了我们自己的模型，并以广泛的参数共享为基础进行改进。接着，我们对 IT 领域的双源变压器模型和数据选择进行了实验。我们的提交结果在 SMT 后编辑子任务中占据了决定性胜利，建立了新的技术水平，并在 NMT 子任务中获得了非常接近的第二名（或相等，16.46 vs. 16.50 TER）。根据 NMT 子任务的相对较弱结果，我们假设神经对神经的 APE 实际上并不有用。

    Sep, 2018

  • Netmarble AI Center WMT21 自动后编辑共享任务提交

    本文介绍了 Netmarble 在 WMT21 自动后处理 (APE) 共享任务中的提交，旨在通过多种手段来改进机器翻译的质量，并通过实验证明其有效性。

    Sep, 2021

  • 基于单 / 双语神经机器翻译模型的对数线性组合用于自动后编辑

    本文探讨了神经机器翻译模型在自动后编辑任务上的应用，并借助对不同模型的处理提高结果，使用简单的字符串匹配惩罚来控制原始机器翻译输出，产生了大量人工数据来解决训练数据不足的问题，超越了基线和其他系统。

    May, 2016

  • 神经自动后编辑系统解释的共享注意机制

    本文提出了一种神经自动后编辑系统，该系统使用两个独立编码器对源句子和机器翻译句子进行编码，并利用共享注意力机制更好地理解两个输入对于后编辑句子生成的贡献，其已在 WMT16 和 WMT17 APE IT domain 英德共享任务的官方数据以及附加的 500K 人工数据上进行了训练和评估，同时提供了更好的可解释性。

    Jul, 2018

  • 自动后编辑能否改进 NMT？

    本研究旨在探讨自动后编辑技术在神经机器翻译系统上的实用性。通过构建英德短语翻译的人工编辑语料库，我们证明了在大规模语料库和人工编辑数据的监督下，最新的神经网络后编辑技术可以显著提高神经机器翻译系统的翻译质量，并挑战了当前领域的理解。

    Sep, 2020

  • 自动后编辑高质量机器翻译中句法对称的重要性

    本文探讨自动后编辑 (APE) 的问题，提出了一种基于对称自注意和语言学正则化的方法，旨在提高 APE 模型对目标语言的理解能力，并取得了实验结果的显著提升。

    May, 2023

  • 神经序列到序列架构在自动后编辑中的探索

    本文研究了多种神经架构用于机器翻译自动后编辑任务。研究内容包括：将 $mt$ 和 $src$ 结合在一起直接对目标进行建模的端到端模型、硬注意力模型和以上两种结合。结果表明：将多个神经架构和硬注意力相结合，所构建的双注意力模型在自动后编辑任务中提供了更好的表现。

    Jun, 2017

  • Unbabel 参加 WMT19 翻译质量评估共享任务

    Unbabel 团队在 WMT 2019 共享任务中，利用 OpenKiwi 框架及 BERT 和 XLM 预训练模型进行传输学习，提出了用于词和句级别预测的新集成技术，并将单词标签转换为文档级别预测，取得了所有语言对和轨迹上显著的最佳结果。

    Jul, 2019

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020

  • PePe: 利用用户生成的后编辑进行个性化后编辑模型

    本文介绍一种个性化自动后编辑框架来解决机器翻译中反映个人喜好的挑战，其使用鉴别器模块和用户特定参数的模型，在四种不同指标（BLEU、TER、YiSi-1 和人类评估）上优于基线模型。

    Sep, 2022