Jul, 2023

通过在神经机器翻译训练中使用对比标记来增强监督学习

PDF
TL;DR本文提出了一种新的监督学习方法，通过对标准最大似然估计方法进行对比标记优化，特别适用于从修改后的翻译中学习，进一步提高了神经机器翻译的性能。
supervised learningneural machine translationcontrastive markingsmaximum likelihood estimationhuman error corrections
发现论文，激发创造
  • 通过对比增强上下文

    通过最大化巴洛双生损失来提高神经机器翻译性能，从而得到含义丰富的表示，并通过语言分类和与最先进的方法进行对比，评估我们表示的语言无关性。

    Jan, 2024

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • 正确我吧：从错误纠正和标记中学习

    该论文通过研究 TED 演讲的翻译数据，提出使用错误标记的标注模式可以更加高效地训练神经机器翻译模型，同时保证较高的信号强度和良好的标注代价。

    Apr, 2020

  • 神经机器翻译的训练和推理之间的缩小差距

    本研究针对神经机器翻译存在的训练误差积累和过度校正问题，提出了一种从训练模型的预测序列中采样上下文词并使用句子级优化方法选择预测序列的训练策略，并在中英互译和 WMT'14 英德互译数据集上得到了显著提高。

    Jun, 2019

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 自然语言处理中对比预训练概述：方法、经验教训和展望

    本文总结了最近自监督和有监督对比 NLP 预训练方法，并描述了它们在提高语言建模、零样本学习、预训练数据效率和特定 NLP 终端任务方面的应用。文章介绍了关键的对比学习概念，总结了应用和交叉领域关系的结果。最后，我们指出了对比 NLP 的未来挑战和方向，以鼓励将对比 NLP 预训练推向近期在图像表示预训练中的成功。

    Feb, 2021

  • 一种面向手语翻译的令牌级对比框架

    提出 ConSLT，结合对比学习和手语翻译的解码过程，从而学习有效的标记表示，实验结果表明，ConSLT 比强基线表现更好。

    Apr, 2022

  • 神经机器翻译的半监督学习

    该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

    Jun, 2016

  • 预训练神经机器翻译模型的强化课程学习

    本文针对神经机器翻译中如何最佳利用具有多样性质和不同质量级别的数据样本提出了数据选择框架，通过筛选对模型性能有重要影响的样本来改进已经预先训练过的模型。实验表明，所提出的基于确定性演员 - 评论家 (Deterministic Actor-Critic) 的数据选择方法能够在不增加新的训练数据的情况下显著提高翻译质量，并大幅优于其他强基线方法。

    Apr, 2020

  • 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言

    本文介绍一种半监督的方法来解决低资源语言机器翻译的问题，通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量，将交叉熵损失和 KL 散度相结合，特别是通过伪目标句子实现无监督训练，实验证明该方法可以显著提高 NMT 基线性能

    Apr, 2023