ACLMay, 2021

防止神经机器翻译语言模型过度自信

PDF
TL;DR提出了一种基于 Margin 的 Token-level Objective（MTO）和 Margin-based Sentence-level Objective（MSO）方法，并在 WMT14 英德，WMT19 中英和 WMT14 英法翻译任务中取得了良好的效果。
neural machine translationlanguage modelmargintoken-level objectivesentence-level objective
发现论文，激发创造
  • 从解码目标的角度理解和解决翻译结果不足的问题

    神经机器翻译 (NMT) 在过去几年取得了显著进展，但仍存在两个具有挑战性的问题，即欠翻译和过翻译。本文从解码目标的角度深入分析了 NMT 中欠翻译的根本原因，并提出了使用预测句子结束标记的置信度作为欠翻译检测器的方法，通过增强基于置信度的惩罚来纠正欠翻译的候选翻译，实验证明该方法可以准确地检测和纠正欠翻译的输出，对其他正确翻译的影响较小。

    May, 2024

  • 关于一种基于一致性感知元学习的可靠神经机器翻译方法

    本文提出了一种基于一致性感知元学习的神经机器翻译（CoNMT）框架，旨在解决当前 NMT 系统中由源多样性现象导致的翻译错误，实验结果表明，该框架能有效提高翻译质量并可靠地处理输入的多样性。

    Mar, 2023

  • 简单融合：语言模型的回归

    本研究比较了将语言模型融合进神经机器翻译的几种方法，并提出了一种新的利用预训练语言模型得分的简单方法，使得翻译模型能够专注于源语言建模，从而在四个测试数据集上取得了 BLEU 值 0.24 至 2.36 的提升。

    Sep, 2018

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 基于充分性导向学习的神经机器翻译

    通过基于强化学习的翻译策略，以翻译的充分性为奖励，提高神经机器翻译模型的翻译效果。

    Nov, 2018

  • 利用 BERT 优化神经机器翻译

    本文介绍了一种有力的方法，将事先训练好的语言模型（LMs）与神经机器翻译（NMT）相结合，以解决当前 LM 微调应用于资源丰富任务时巨大遗忘的难题，并在机器翻译任务中取得了优越的成果。

    Aug, 2019

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 基于 Transformer 的神经机器翻译学习自信度

    本论文介绍了一个在神经机器翻译中实现置信度估计的方法，通过让 NMT 模型向用户请求 “提示” 来确定置信度，进一步提出了利用置信度的标签平滑方法。实验结果表明，在真实世界的嘈杂和跨领域数据的情况下，该方法可以准确评估潜在的风险。

    Mar, 2022

  • 通过表示和梯度规范化提高多语言翻译

    本文提出了一种同时在表示层和梯度层面上正则化神经机器翻译（NMT）模型的方法，以解决多语言 NMT 在零 - shot 翻译中出现偏离目标语言及低质量翻译的问题，并在 WMT 和 OPUS 数据集上实现了 5.59 和 10.38 BLEU 的性能提升。

    Sep, 2021

  • 神经机器翻译的主动学习

    本文使用 Joey NMT 工具包中的 Active Learning 技术，通过两种基于模型的获取函数 (BM, FTM, ALLCM, 和 ALMSM)，研究了英语到印地语的神经机器翻译。本文的结果表明，Active Learning 技术能够使模型更早地达到收敛并提高整个翻译系统的质量，其中 ALLCM 和 ALMSM 两种模型取得了最好的 BLEU 分数。

    Dec, 2022