神经网络校准度的解耦

Jun, 2024

Decoupling of neural network calibration measures

Dominik Werner Wolf, Prasannavenkatesh Balaji, Alexander Braun, Markus Ulrich

TL;DR当前大量的工作专注于保护自主驾驶系统，这些系统在计算机视觉方面严重依赖于深度神经网络。我们研究了不同神经网络校准度量的耦合，重点关注稀疏化误差曲线下的面积（AUSE）指标。我们详述了确定最佳校准度使用期望校准误差（ECE）时存在的众所周知的一致性问题，并且我们还展示了 AUSE、不确定性校准分数（UCS）以及不确定性校准误差（UCE）也存在类似问题。我们得出结论，目前的方法留下了一定的自由度，这使得无法为安全关键功能的鉴定提供独特的模型校准。此外，我们提出 AUSE 作为间接度量残余不确定性的方法，而这种不确定性对于固定的网络架构是不可减少的，这是由于底层数据生成过程中的随机性贡献以及假设空间限制所驱动的。

Abstract

A lot of effort is currently invested in safeguarding autonomous driving systems, which heavily rely on deep neural networks for computer vision. We investigate the coupling of different neural network calibration

autonomous driving systems deep neural networks neural network calibration area under the sparsification error model calibration

发现论文，激发创造

深度回归的不确定性量化指标

在部署机器人或其他物理系统上的深度神经网络时，可靠地量化预测不确定性以允许下游模块对其行为的安全性进行推理至关重要。本文研究了评估这种不确定性的度量标准，具体关注回归任务，并调查了 Sparsification Error 下面积 (AUSE)、校准误差、Spearman 排名相关性和负对数似然度量。通过使用合成回归数据集，我们研究了这些度量标准在四种典型的不确定性下的行为方式，以及它们对测试集大小的稳定性，并揭示了它们的优势和劣势。结果表明，校准误差是最稳定和可解释性的度量标准，但是 AUSE 和负对数似然度量也有各自的适用场景。我们不建议使用 Spearman 排名相关性来评估不确定性，建议用 AUSE 替代。

May, 2024

深度学习模型不确定性的校准

本文提出了一种基于概率贝叶斯方法的神经网络预测置信度校准方案，最大化置信度期望效用，用最大置信度校准误差度量预测的置信度和错误之间的关系，并在 COVID-19 诊断中测试取得了显著的效果。

Jun, 2022

重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

Mar, 2019

鸟瞰视野语义分割的不确定性量化：方法与基准

这篇论文介绍了一种用于预测不确定性量化的基准测试方法，通过评估不同方法在三个流行数据集上对于识别被错分和不适当类别像素、以及校准的有效性，发现证据深度学习方法在高效量化不确定性方面表现最有潜力，提出了适用于高度不平衡数据的 Uncertainty-Focal-Cross-Entropy (UFCE) 损失函数，以及增强模型对高不确定性像素关注的缺空缩放规则项能够提高确定性不确定性量化。

May, 2024

关于测量离散概率神经网络的校准

使用条件核平均嵌入测量标定差异，以提高机器学习模型的不确定性量化，并消除偏差和参数假设。初步实验基于合成数据展示了该方法的潜力，并计划用于更复杂的应用。

May, 2024

U-CE: 语义分割的不确定性感知交叉熵

利用动态预测不确定性的像素权重加权 U-CE（Uncertainty-aware Cross-Entropy loss）训练方法在两个基准数据集上优于传统 CE（cross-entropy loss）训练方法，提高了安全关键应用中更稳健可靠的分割模型的性能和可信度。

Jul, 2023

研究 AUC 指标的失效模式并探索安全关键应用系统评估的替代方法

本研究提出了三个度量指标来解决现有度量指标在选择性回答方面存在的局限性，实验结果表明，性能更好的选择性回答模型并不一定是较新或较大的预训练模型。这些发现有望促进针对安全关键应用的更好模型的发展。

Oct, 2022

如何评估分类器的校准性：在特定上下文可靠性定义下的分类器校准性评估

本文针对分类器标定的问题，提出以正确描述其应用背景为目的，开发更准确反映标定误差的更具表达力的度量标准；其中，基于期望标定误差的推广，提出了几种不同的度量标准，分别反映了针对不同的可靠性定义的标定误差；此外，基于这些不同的度量标准，作者对常用的神经网络结构和标定技术进行了广泛的实证评估，发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.

May, 2022

通过准确度与不确定性优化来改善模型校准

优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

Dec, 2020

超越 RMSE 和 MAE：引入 EAUC 揭示二元回归模型中的隐藏偏见和不公平

本研究介绍了对双元回归模型的偏差感知评估以避免在关键现实应用中潜在的不公平和风险，证明了使用 Eccentricity-Area Under the Curve 作为补充指标可以量化被称为偏心偏差的现象。

Jan, 2024