通过检查训练过程中的预测一致性，我们提出了一种自信度评估方法，用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数，并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分割任务中，我们的方法实现了自信度评估的最新性能。此外，我们通过一个下游主动学习任务展示了所提方法的好处。

Jul, 2023

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法，可用于知识提取过程中的预测筛选，并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。

Oct, 2022

过去的研究表明，置信度评估方法往往会对错误的预测产生不利影响，本研究提出了一种新的置信度评估方法，通过寻找平坦极小值来扩大置信度差距，从而实现在多种分类场景下的失败预测性能的持续改进。

Mar, 2024

探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

Jun, 2022

提出了一种基于优化的元学习方法，其利用新的不确定性感知任务选择模型和多查询任务公式，在进行少样本学习时，能够有效地降低标记成本和计算开销，并且在多个实际应用中进行的实验表明，该模型效果显著。

Mar, 2022

本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

Jul, 2020

针对大型语言模型（LLM），特别是黑盒模型的应用，评估输出可信度的置信度估计是关键。现有的 LLM 置信度估计通常因 LLM 对生成的错误答案过于自信而缺乏校准。现有方法解决过度自信问题的能力受到一个重要限制，即它们仅考虑 LLM 生成的一个答案的置信度。为了解决这个限制，我们提出了一种新的范式，全面评估多个候选答案的可信度以减轻对错误答案的过度自信。基于这个范式，我们引入了一个两步框架，首先指导 LLM 反思并提供每个答案的理由，然后汇集这些理由进行全面的置信度估计。这个框架可以与现有的置信度估计方法结合，实现更好的校准。对三个任务的六个数据集的实验证明了所提框架的合理性和有效性。

Mar, 2024

我们提出了一种测量语义分割模型对各个类别的置信度校准质量的度量标准，并使用该标准评估不平衡类别的不确定性估计方法的置信度校准情况。此外，我们还建议该方法可以自动发现标签问题，改善手工或自动注释数据集的质量。

Aug, 2023

本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

Sep, 2017