本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

Sep, 2021

本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

Feb, 2018

我们研究了深度学习方法在文本摘要中存在的局限性，提出使用概率深度学习方法来提高模型生成与不确定性质量， 并在实践中采用适当的方法来避免摘要生成的低质量问题。

Apr, 2023

提出了一种用于三种摘要评估方案的统一多方案摘要评估模型（UMSE），其中使用扰动前缀调整方法来共享不同方案之间的信息，通过自监督训练偏向优化统一模型。在常见的标准数据集 SummEval 上进行的实验结果表明，UMSE 的性能可以与专门针对每种情况进行设计的现有强方法相媲美。

May, 2023

基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

Jun, 2024

本文提出了一种针对机器翻译 Uncertainty Prediction 的新型强大高效的不确定性预测器，在不同的数据集和应用场景中具有明显的降低计算成本和提高预测准确度的效果。

Apr, 2022

从不确定性的角度进行的风险评估研究表明不确定性估计方法可用于揭示大型语言模型的预测风险，并可能发现由该模型生成的有错误的程序。

Jul, 2023

探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

Jun, 2016

本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

Oct, 2020

本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

Feb, 2023