Mar, 2022

基于Transformer的神经机器翻译学习自信度

HTML
PDF
TL;DR本论文介绍了一个在神经机器翻译中实现置信度估计的方法，通过让NMT模型向用户请求“提示”来确定置信度，进一步提出了利用置信度的标签平滑方法。实验结果表明，在真实世界的嘈杂和跨领域数据的情况下，该方法可以准确评估潜在的风险。
发现论文，激发创造
  • 基于不确定性置信度评估的反向翻译优化

    本研究通过使用基于不确定性的置信度评估，提出了一种针对噪声性合成双语语料库的反向翻译方法，实验证明该方法显著提高了反向翻译的性能。

    Aug, 2019

  • 通过数据增强提高神经机器翻译的鲁棒性：超越回译

    本文探讨了神经机器翻译以及如何提高其对于噪声输入的鲁棒性，提出了新的数据扩充方法以及通过利用外部数据中的噪声来加强模型鲁棒性。

    Oct, 2019

  • 神经机器翻译对输入扰动的鲁棒性评估

    本文提出了衡量NMT模型抗干扰性能的一些额外指标，并针对一类使用子单词规范化方法的模型进行了广泛评估，结果表明我们提出的指标揭示了使用子单词规范化方法时抗干扰性能提高的明显趋势。

    May, 2020

  • 神经机器翻译推理校准

    本文对神经机器翻译中置信度校准的问题进行研究，发现在推断时训练数据与推断数据的不同导致了校准不准确的问题。作者提出了一种新的 graduated label smoothing 方法来提高推断校准和翻译性能。

    May, 2020

  • 神经机器翻译置信度感知的计划采样

    本文提出了基于置信度的定时采样策略，针对神经机器翻译中定时采样策略无法根据实时模型表现进行调整的问题，通过使用模型预测的置信度来量化实时模型表现，并设计了细粒度的采样策略。实验结果表明，该策略在Transformer模型上显著优于 Vanilla定时采样，可以提高翻译质量和收敛速度。

    Jul, 2021

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗dropout和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自QT21数据集和WMT20度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • 面向鲁棒的 k 近邻机器翻译

    本文研究并发现kNN-MT的性能下降问题，提出了一种信心增强的kNN-MT模型，结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。

    Oct, 2022

  • 能力感知神经机器翻译: 机器翻译是否可以知道自己的翻译质量?

    本文提出了一种新的能力感知神经机器翻译方法，通过自估计器扩展传统神经机器翻译，使其具备翻译源句子和估计其能力的能力，在四项翻译任务上取得了卓越的表现，并显示出与人类质量判断的高相关性。

    Nov, 2022

  • 机器翻译评估的共形化

    本文研究机器翻译的不确定性评估方法，发现目前大多数方法对模型不确定性的估计较低，建议采用分布自由的合规预测法来保证覆盖度，并提出条件合规预测技术来获得每个数据子组的校准子集，从而实现覆盖率均衡。

    Jun, 2023

  • 指尖上的质量控制: 品质感知翻译模型

    在神经机器翻译模型中，提出通过自我评估来训练模型以估计其自身输出的质量，并在解码过程中使用该质量估计来指导生成过程，从而显著提高翻译质量。在最小贝叶斯风险解码中使用内部质量估计来剪枝，不仅可以进一步提高翻译质量，还可以将推理速度降低两个数量级。

    Oct, 2023