基于距离的神经网络分类器置信度
本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法,可以对类别概率进行显式的正序排名,提高置信度预测。该方法易于实现,不需要额外的计算代价,适用于现有体系结构,并且在分类基准数据集上表现良好。同时,还对置信度估计相关的任务,如超出分布检测和主动学习,具有相同的可靠性。
Jul, 2020
本文提出了一种基于密度建模的新型置信度度量方法,用以解决 State-of-the-art Deep Neural Networks 存在的小量对抗噪音引起高置信度预测不正确问题,并验证其在图像失真、随机噪声和对抗噪声等方面具有鲁棒性,相比传统方法 softmax,置信度得分更低。
Jul, 2017
本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法,可用于知识提取过程中的预测筛选,并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。
Oct, 2022
本文提出了一种简单的方法,通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签,并在符合性方法的框架内提出了一种新的非一致性测量法,实验验证了理论预期,证明了在不影响准确性或校准的情况下,提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。
Nov, 2018
本研究提出了一种替代贝叶斯 NN 的简单实现方法,其能够产生高质量的预测不确定性估计,并在分类和回归数据集上进行了实验以证明这一点。此外,研究还评估了在已知和未知数据分布下的预测不确定性,并证明该方法能够在超出分布的样本上表现出更高的不确定性,同时在 ImageNet 上证明了该方法的可扩展性。
Dec, 2016
本文提出了一种新算法来构建深度神经网络的预测分类置信度,并证明了其正确性保证。此外,展示了如何利用预测置信度实现高速 DNN 推理和安全规划,并在实验中展示了其在最先进的 DNN 中提供保证的能力。
Nov, 2020
提出了一种名为 “信任得分” 的新型得分,它度量了分类器和在测试示例上修改后的最近邻分类器之间的一致性,证明了高(低)信任得分可产生出人意料的高(低)正确分类的精确度,同时优于分类器的置信度得分以及许多其他的基准方法,并且在一定的分布假设下证明,如果一个示例具有高(低)的信任得分,则分类器可能会与贝叶斯最优分类器达成一致(不一致),这些保证基于拓扑数据分析领域的最近进展,并在各种不同的非参数设置下提供了非渐近统计一致性速率。
May, 2018
本文提出了一种基于两个模型范式的深度神经网络置信度评分机制,通过在任务中观察基础模型的成功 / 失败来学习元模型的置信度评分,实验结果表明该方法在过滤任务中优于各种基线,并使用带或不带噪声的 CIFAR-10 和 CIFAR-100 数据集进行了实验研究,讨论了置信度评分在实验和实际应用之间的重要性。
May, 2018
通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能,我们提出一种与贝叶斯神经网络正交的方法,该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。
Jun, 2018
通过距离空间中的距离来提高深度神经网络的置信度校准能力,提出了一种新型的基于误差的距离学习(DBLE)方法;在多个数据集和深度神经网络结构上,证明了 DBLE 优于其他单一模型置信度校准方法。
Dec, 2019