探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

Jun, 2016

提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

May, 2020

本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗dropout和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自QT21数据集和WMT20度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

Sep, 2021

本研究介绍了一种简单的回归集成方法，用于评估机器翻译质量。我们使用新颖和已建立的多种指标对集成模型进行了评估，并将其与WMT 2021 Metrics工作坊的专家评分进行了相关性比较。在单语和零-shot跨语言设置中，我们表明与单一指标相比，集成模型在性能上得到了显著的提高。在跨语言设置中，我们还证明了集成方法适用于未知语言。此外，我们还确定了一个强有力的基准线，它一直表现优于常用的BLEU和METEOR度量标准，并显着提高了我们集成模型的性能。

Sep, 2021

本论文介绍了一个在神经机器翻译中实现置信度估计的方法，通过让NMT模型向用户请求“提示”来确定置信度，进一步提出了利用置信度的标签平滑方法。实验结果表明，在真实世界的嘈杂和跨领域数据的情况下，该方法可以准确评估潜在的风险。

Mar, 2022

本文提出了一种针对机器翻译Uncertainty Prediction的新型强大高效的不确定性预测器，在不同的数据集和应用场景中具有明显的降低计算成本和提高预测准确度的效果。

Apr, 2022

本文研究机器翻译的不确定性评估方法，发现目前大多数方法对模型不确定性的估计较低，建议采用分布自由的合规预测法来保证覆盖度，并提出条件合规预测技术来获得每个数据子组的校准子集，从而实现覆盖率均衡。

Jun, 2023

在机器翻译中，为解决生成高质量和多样化的翻译的挑战，本文采用Gibbs分布的能量函数，并通过Metropolis-Hastings算法从高密度区域生成多个样本，提供了一种简单有效的方法来避免过度依赖噪声质量估计的问题。实验结果表明，所提出的方法在多种语言对（英语↔德语、俄语）和两个强解码器单模型（Alma-7b、Tower-7b）中产生了高质量和多样化的输出。

May, 2024

我们开发了新的一致推断方法，用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出LLM响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题，首先，所述保证并非条件有效；其次，因为评分函数不完善，过滤步骤可能会删除许多有价值和准确的声明，我们通过两种新的一致方法解决了这两个挑战。

Jun, 2024

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对6个大型语言模型在4个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024