利用辅助区间预测器通过不确定性匹配构建校准的深度模型

AAAISep, 2019

利用辅助区间预测器通过不确定性匹配构建校准的深度模型

Building Calibrated Deep Models via Uncertainty Matching with Auxiliary Interval Predictors

Jayaraman J. Thiagarajan, Bindya Venkatesh, Prasanna Sattigeri, Peer-Timo Bremer

TL;DR为了解决深度学习模型不确定性的问题，开发了一种新的方法来构建校准的估计器，通过预测模型和区间估计模型交互，显著提高了回归、时间序列预测和对象定位等任务的效果和校准能力。

Abstract

With rapid adoption of deep learning in critical applications, the question of when and how much to trust these models often arises, which drives the need to quantify the inherent uncertainties. While identifying all sources that account for the stochasticity of models is challenging,

deep learning uncertainty prediction intervals calibration regression

发现论文，激发创造

使用校准回归的深度学习准确不确定性

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018

使用不确定性特征曲线评估预测区间

准确量化模型不确定性一直被认为是值得信赖的人工智能的基本要求。本文利用操作特性曲线的概念和相对空白参考的收益概念，提出了一种新的对预测区间进行评估的方法。通过定义不确定性特性曲线并展示其在选定场景中的效用，我们认为该方法能够满足目前对预测区间全面评估的需求，并因此成为不确定性量化工具箱中的有价值的补充。

Oct, 2023

回归任务中的不确定性预测评估和校准

本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

May, 2019

不确定性特性曲线：预测区间的系统评估

本文提出了一种可靠的方法用于评估 AI 模型中预测不确定性，解决了现有的方法难以比较与衡量的问题。该方法基于操作特性曲线的概念和改进参考点的方法，可以有效地评估预测区间的准确性和稳定性，从而使其成为不确定性量化工具箱中的有价值的补充。

Jun, 2021

目标定位任务中的不确定性校准

应用于自动驾驶和手术机器人等许多安全关键应用中，从对象检测模块获取预测不确定性以帮助支持安全决策是可取的。本文中我们介绍了一种方法用于解决单个对象定位任务的边界框的不确定性问题。我们使用现有技术来校准回归模型，实验表明所得出的校准模型得到了更可靠的不确定性估计。

Nov, 2018

通过准确度与不确定性优化来改善模型校准

优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

Dec, 2020

深度网络自适应、无分布预测区间

提出了一种基于统计方法的神经网络预测间隔构造方法，旨在解决其他相关研究的局限性，提供更为准确的预测区间并保证预测精度，该方法易于实施且适用于大多数深度神经网络。

May, 2019

学习模型性能的预测区间

使用自动化方法来估算模型预测的不确定性，使得预测间隔和性能预测等领域在真实世界中变得更加实用。

Dec, 2020

基于深度学习的置信区间和同时置信带

深度学习模型在各个领域显著提高了预测准确性，并在许多学科中得到认可。然而，有一个深度学习方面仍未充分解决的问题是预测不确定性的评估。本研究提供了一种有效的非参数自助法，能够正确区分数据不确定性和所采用的优化算法中固有的噪音，确保生成的逐点置信区间或同时置信带是准确的（即有效且不过于保守）。该提议的方法可以轻松整合到任何深度神经网络中，而无需干扰训练过程。该方法的实用性通过为具有右删失的生存数据的深度神经网络构建同时置信带来进行了说明。

Jun, 2024

Confidence-Nets: 面向小数据集回归神经网络更好预测区间的一步

本文介绍了一种组合 DNN、XGBoost 和差异性计算技术的集成方法，用于估计预测的不确定性、提高准确性并提供预期变化的区间，其计算简单，适用于小数据集且性能提升显著，且模型的预测区间可平均包括实际值的 71％和 78％。

Oct, 2022