深度回归的不确定性量化指标

May, 2024

Uncertainty Quantification Metrics for Deep Regression

Zilian Xiong, Simon Kristoffersson Lind, Per-Erik Forssén, Volker Krüger

TL;DR在部署机器人或其他物理系统上的深度神经网络时，可靠地量化预测不确定性以允许下游模块对其行为的安全性进行推理至关重要。本文研究了评估这种不确定性的度量标准，具体关注回归任务，并调查了 Sparsification Error 下面积 (AUSE)、校准误差、Spearman 排名相关性和负对数似然度量。通过使用合成回归数据集，我们研究了这些度量标准在四种典型的不确定性下的行为方式，以及它们对测试集大小的稳定性，并揭示了它们的优势和劣势。结果表明，校准误差是最稳定和可解释性的度量标准，但是 AUSE 和负对数似然度量也有各自的适用场景。我们不建议使用 Spearman 排名相关性来评估不确定性，建议用 AUSE 替代。

Abstract

When deploying deep neural networks on robots or other physical systems, the learned model should reliably quantify predictive uncertainty. A reliable uncertainty allows downstream modules to reason about the saf

deep neural networks predictive uncertainty metrics regression tasks calibration error

发现论文，激发创造

神经网络校准度的解耦

当前大量的工作专注于保护自主驾驶系统，这些系统在计算机视觉方面严重依赖于深度神经网络。我们研究了不同神经网络校准度量的耦合，重点关注稀疏化误差曲线下的面积（AUSE）指标。我们详述了确定最佳校准度使用期望校准误差（ECE）时存在的众所周知的一致性问题，并且我们还展示了 AUSE、不确定性校准分数（UCS）以及不确定性校准误差（UCE）也存在类似问题。我们得出结论，目前的方法留下了一定的自由度，这使得无法为安全关键功能的鉴定提供独特的模型校准。此外，我们提出 AUSE 作为间接度量残余不确定性的方法，而这种不确定性对于固定的网络架构是不可减少的，这是由于底层数据生成过程中的随机性贡献以及假设空间限制所驱动的。

Jun, 2024

基于误差对齐不确定性优化的可靠多模态轨迹预测

通过提出基于误差对齐的不确定性优化方法和引入可训练的损失函数来估算深度神经网络的不确定性，以取得与模型误差相关性强的不确定性预测。该方法适用于连续结构化预测和回归任务，并在包括大规模车辆运动预测任务的多个数据集上进行评估，通过 Pearson 相关系数表明我们的方法提高了平均位移误差和不确定性与模型误差之间的相关性。

Dec, 2022

回归任务中的不确定性预测评估和校准

本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

May, 2019

重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

Mar, 2019

深度目标检测器中回归预测不确定性的估计与评估

本研究旨在估计具有方差网络的边界框回归输出的预测分布，使用 proper scoring rules 训练 variance networks 可以产生更好的预测分布，虽然变量网络可以用于生成高质量的预测分布，但我们的提议可帮助将基于规范分布模型的预测不确定性评估与其他机器学习领域的预测评估对齐。

Jan, 2021

语言模型中的不确定性：通过排名校准进行评估

开发了一种名为 “Rank-Calibration” 的新颖实用框架，用于评估语言模型的不确定性和置信度，通过量化与生成质量的关系偏差的方式，消除了二进制阈值化的需求，并在实证验证中展示了方法的广泛适用性和细粒度可解释性。

Apr, 2024

Hinge-Wasserstein: 通过分类降低回归的过度自信

本篇论文提出了一种基于 Wasserstein 距离的损失函数 (hinge-Wasserstein)，用于解决深度神经网络训练过程中的置信度过高问题，可以提升模型对两种不确定性的估计能力，并在 Horizon Lines in the Wild 数据集上取得显著的误差减小效果。

Jun, 2023

训练后的机器学习回归模型中不确定性传播的分析结果

机器学习模型在计量学应用中的可信度需要伴随确定性不确定性的量化，本文解决了经过训练 / 固定的机器学习回归模型中不确定性传播的挑战，提供了在特定输入数据分布和多种机器学习模型下，对模型输出均值和方差的解析表达式，并通过数值实验验证方法，与蒙特卡罗方法在计算效率上进行比较，同时以锂离子电池状态建模为例，展示了方法的应用。

Apr, 2024

神经网络不确定性估计在分类问题中的质量比较

对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

Aug, 2023

使用校准回归的深度学习准确不确定性

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018