Aug, 2018

使用可信数据和在线数据选择去噪神经机器翻译训练

PDF
TL;DR本文章探讨如何使用在线数据选择的方式，通过使用受信任数据和去噪课程，来测量和去噪神经机器翻译（NMT）训练中的数据，并对提出的方法进行内在和外在评估，结果表明该方法在处理严重噪音的数据时具有显著的效果。
发现论文，激发创造
  • 通过降噪训练改善神经机器翻译

    该论文提出了一种简单有效的联合去噪预训练方法（DoT），该方法不需要增加任何参数或训练步骤，适用于神经机器翻译并不断提升翻译性能，尤其在高资源情况下，性能优于先前的预训练模型 mBART。

    Jan, 2022

  • 通过数据增强提高神经机器翻译的鲁棒性：超越回译

    本文探讨了神经机器翻译以及如何提高其对于噪声输入的鲁棒性，提出了新的数据扩充方法以及通过利用外部数据中的噪声来加强模型鲁棒性。

    Oct, 2019

  • 带有对抗去噪训练的强鲁棒性无监督神经机器翻译

    本文研究了无监督神经机器翻译在噪声数据下的鲁棒性问题，并且提出了一种针对这种噪声数据的对抗性训练方法，通过去噪来提高无监督神经机器翻译的鲁棒性。经过实验验证，该方法在一些语言对上，显著提高了传统无监督神经机器翻译系统在嘈杂场景下的性能。

    Feb, 2020

  • 利用合成噪音提高机器翻译的鲁棒性

    本文介绍借助带有自然噪声的大型数据集从而使得机器翻译系统更加鲁棒，提升其抗噪能力并部分缓解由此产生的精度损失。

    Feb, 2019

  • 基于多语数据选择的神经机器翻译领域通用无监督适应

    本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估，并在 COVID-19 疫情实时翻译中进行了应用验证， 实验结果表明，我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。

    Sep, 2021

  • 神经机器翻译的领域鲁棒性

    本文研究了机器翻译模型在未知领域中的性能表现，发现在未知领域中，统计机器翻译（SMT）和神经机器翻译（NMT）系统存在不同的问题：SMT 系统通常足够但不流利，而 NMT 系统流利但不足够。本文发现，NMT 系统出现的 “幻觉” 现象是造成低域稳健性的主要原因，研究并比较了有关提高 NMT 系统稳健性的方法，实验结果表明，这些方法能够稍微提高 NMT 系统翻译的充分性，但对流畅性的提高较小。

    Nov, 2019

  • 如何在嘈杂的世界中学习？对机器翻译中的真实世界数据噪声进行自校正

    通过模拟实际语义不对齐问题并对其影响进行定量分析，本研究提出一种自我校正方法来处理数据噪声，并在机器翻译中取得了显著的性能提升。

    Jul, 2024

  • 请语言模型清理您的噪声翻译数据

    使用大型语言模型 (LLM) 清理噪声目标句子，创建了 C-MTNT 数据集，提供了更适合噪声评估的基准，并展示了 LLM 在此任务上的出色表现。

    Oct, 2023

  • DEEP: 神经机器翻译去噪实体预训练

    该论文介绍了 DEEP 方法，借助大量单语数据和知识库，通过去噪自编码器和多任务学习的方式，提高在句子内进行命名实体翻译的准确性，实验结果表明在三种语言对翻译中 DEEP 方法相较于其他方法具有更好的表现。

    Nov, 2021

  • 自然语言理解中的即时数据增强去噪

    本文介绍了一种基于原始数据集更清洁的假设，利用有机教师模型提供的软增强标签进行学习的数据增强即时去噪方法，并应用简单的自正则化模块来防止在噪声标签上过拟合，该方法可应用于各种数据扩充技术，可以在文本分类和问答任务中提高性能。

    Dec, 2022