Mar, 2022

基于 Transformer 的神经机器翻译学习自信度

PDF
TL;DR本论文介绍了一个在神经机器翻译中实现置信度估计的方法，通过让 NMT 模型向用户请求 “提示” 来确定置信度，进一步提出了利用置信度的标签平滑方法。实验结果表明，在真实世界的嘈杂和跨领域数据的情况下，该方法可以准确评估潜在的风险。
confidence estimationneural machine translationhintsunsupervised learninglabel smoothing
发现论文，激发创造
  • 基于不确定性置信度评估的反向翻译优化

    本研究通过使用基于不确定性的置信度评估，提出了一种针对噪声性合成双语语料库的反向翻译方法，实验证明该方法显著提高了反向翻译的性能。

    Aug, 2019

  • 神经机器翻译推理校准

    本文对神经机器翻译中置信度校准的问题进行研究，发现在推断时训练数据与推断数据的不同导致了校准不准确的问题。作者提出了一种新的 graduated label smoothing 方法来提高推断校准和翻译性能。

    May, 2020

  • 机器翻译质量评估中的预测不确定性探讨

    探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

    Jun, 2016

  • 防止神经机器翻译语言模型过度自信

    提出了一种基于 Margin 的 Token-level Objective（MTO）和 Margin-based Sentence-level Objective（MSO）方法，并在 WMT14 英德，WMT19 中英和 WMT14 英法翻译任务中取得了良好的效果。

    May, 2021

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • 能力感知神经机器翻译：机器翻译是否可以知道自己的翻译质量？

    本文提出了一种新的能力感知神经机器翻译方法，通过自估计器扩展传统神经机器翻译，使其具备翻译源句子和估计其能力的能力，在四项翻译任务上取得了卓越的表现，并显示出与人类质量判断的高相关性。

    Nov, 2022

  • 大型语言模型的多语言置信度评估全面研究

    大语言模型中的虚假生成和过度自信在预测中引起对其可靠性的担忧，本文通过引入多语言置信度估计 (MlingConf) 对大语言模型进行全面调查，包括多语言问答数据集、置信度估计性能、跨语言置信度估计方法的提出，实验结果表明该跨语言置信度估计技术能显著提高置信度估计。

    Feb, 2024

  • 机器翻译评估的共形化

    本文研究机器翻译的不确定性评估方法，发现目前大多数方法对模型不确定性的估计较低，建议采用分布自由的合规预测法来保证覆盖度，并提出条件合规预测技术来获得每个数据子组的校准子集，从而实现覆盖率均衡。

    Jun, 2023

  • 面向鲁棒的 k 近邻机器翻译

    本文研究并发现 kNN-MT 的性能下降问题，提出了一种信心增强的 kNN-MT 模型，结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。

    Oct, 2022