ACLSep, 2021

神经机器翻译中准确的目标属性预测

PDF
TL;DR本研究探讨在神经机器翻译中，针对某些属性（如单词大小写或性别）控制训练数据，以预测目标单词和属性，能够使翻译更忠实于这些属性的训练数据分布。通过在大写输入翻译和性别预测两个任务上的实验结果，证明该策略有助于在测试中镜像训练数据分布，并促进大写输入翻译任务的数据扩充。
nmttraining dataattributestranslationsdata augmentation
发现论文，激发创造
  • 多元神经机器翻译的流畅性和忠实度建模

    论文提出了一种引入评估模块来指导预测结果分布的神经机器翻译方法，从流畅性和忠实度的角度引导模型生成具有连接性的短语，实验结果表明，该方法可以显著提高翻译质量。

    Nov, 2019

  • 领域适应问题中的神经机器翻译性别偏见减少

    翻译系统中存在的性别偏见问题影响翻译质量，作者使用许多小规模相似数据的迁移学习替代了传统的样本平衡方法，并使用弹性权重共享和基于网络重叠的方法解决了迁移学习中的遗忘问题。最后，作者构建了优于其他系统的词网重新评分方案来解决性别偏见问题。

    Apr, 2020

  • 使用反事实数据生成减少机器翻译中的性别偏见

    最近的神经方法在神经机器翻译（NMT）系统质量方面取得了重大进展。然而，这些系统经常会产生具有不准确性别的翻译，这可以追溯到训练数据中的偏见。Saunders 和 Byrne 通过使用一个包含平衡性别职业词的手工制作数据集来解决这个问题。通过使用这个数据来微调现有的 NMT 模型，他们证明了性别偏见可以显著减轻，尽管这会导致由于灾难性遗忘而降低翻译质量。然而，我们发现，简单地补充手工制作的数据集与基础模型训练语料库的随机样本就足以显著减少灾难性遗忘。我们还提出了一种新颖的领域自适应技术，利用 Zmigrod 等人提出的反事实数据生成技术创建的领域内数据，在不显著降低翻译质量的情况下进一步提高 WinoMT 挑战测试集的准确性。我们展示了它在从英语到三种形态丰富的语言（法语、西班牙语和意大利语）的 NMT 系统中的有效性。相关数据集和代码将在 Github 上提供。

    Nov, 2023

  • 神经机器翻译的训练和推理之间的缩小差距

    本研究针对神经机器翻译存在的训练误差积累和过度校正问题，提出了一种从训练模型的预测序列中采样上下文词并使用句子级优化方法选择预测序列的训练策略，并在中英互译和 WMT'14 英德互译数据集上得到了显著提高。

    Jun, 2019

  • 主题感知神经机器翻译引导对齐训练

    本文提出了一种有效的方法来偏置序列到序列神经机器翻译模型（NMT）的注意机制，使其趋向于研究过的词对齐模型。我们展示了我们的新型引导对齐训练方法如何在真实生活的电商文本翻译中提高了翻译质量，克服了许多未知单词和大型类型 / 令牌比。我们还表明，与输入文本相关的元数据（例如主题或类别信息）作为网络解码器部分的附加信号可显着提高翻译质量。有了这两个新功能，NMT 系统在一个产品标题集上的 BLEU 分数从 18.6 提高到 21.3％。通过将通用领域 NMT 系统进行领域适应也可获得更大的机器翻译质量提升。这个开发的 NMT 系统在 IWSLT 语音翻译任务中也表现良好，其中四个变体系统的集合比基线的基于短语的系统的 BLEU 分数提高了 2.1％。

    Jul, 2016

  • 属性对齐：控制预训练语言模型的文本生成

    提出一种简单而灵活的方法，通过对齐分离的属性表示，控制文本生成，用于控制情感极性或特定主题的目标属性。与之前的方法不同，我们使用相同的数据学习对齐函数，而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法，并表现出大幅度的性能提升，同时保持流畅性和多样性。

    Mar, 2021

  • 使用神经机器翻译预测人类翻译难度

    人工翻译人员的阅读和翻译速度能够被神经机器翻译（NMT）模型的意外性和注意力特征解释，意外性是翻译困难度最成功的预测因素之一。

    Dec, 2023

  • 探究神经机器翻译系统对荒谬输入的鲁棒性

    本篇论文研究了 NMT 系统在源语句中进行多次更改时的表现，并提出了基于软性关注力技术的单词替换方法，对英德和英法两种语言对进行实验，结果表明现有技术无法捕捉源语言的语义，提出的软性关注力技术是一种不变性基攻击，可通过备选指标更好地评估这种攻击。

    Aug, 2019

  • 优先选择翻译更为准确的性别翻译策略

    本研究通过调整推理过程，使用性别特征和应用性别约束条件，改善 $nbest$ 列表的性别多样性，解决了神经机器翻译中的性别偏见问题，最终权衡这些技术可以在不需要额外的双语数据或额外的 NMT 模型的情况下获得显着的 WinoMT 准确度提高.

    Apr, 2021

  • 控制关于对话参与者的额外文本属性 —— 一项英语到波兰语神经机器翻译的案例研究

    研究了机器翻译英语到波兰语的挑战，通过对多特征控制的翻译应用广泛的方法案例来解决这个问题。最佳模型表现出 5.81 chrF++ / 6.03 BLEU 的改进，并提出了波兰电视对话的属性标注数据集和用于评估模型属性控制的形态分析脚本。

    May, 2022