经验法调整回归不确定性分布

ICMLMay, 2020

CRUDE: Calibrating Regression Uncertainty Distributions Empirically

Eric Zelikman, Christopher Healy, Sharon Zhou, Anand Avati

TL;DR该研究提出了一种用于回归设置的校准方法，称为经验性地校准回归不确定性分布（CRUDE），该方法不假定错误的特定不确定性分布，并展示了它的理论联系以及 CRUDE 的性能优于现有技术。

Abstract

Calibrated uncertainty estimates in machine learning are crucial to many fields such as autonomous vehicles, medicine, and weather and climate forecasting. While there is extensive literature on uncertainty calibration<

calibration uncertainty estimation machine learning regression conformal inference

发现论文，激发创造

回归任务中的不确定性预测评估和校准

本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

May, 2019

使用校准回归的深度学习准确不确定性

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018

使用最大平均差异进行校准可靠回归

本文提出了使用最大平均偏差最小化核嵌入度量的校准回归方法，证明该方法在样本量足够大时其校准误差渐近收敛于零，实验结果表明该方法能够产生良好校准和尖锐的预测区间，优于相关现有技术。

Jun, 2020

超越分类的校准测试

这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

Oct, 2022

深度学习模型不确定性的校准

本文提出了一种基于概率贝叶斯方法的神经网络预测置信度校准方案，最大化置信度期望效用，用最大置信度校准误差度量预测的置信度和错误之间的关系，并在 COVID-19 诊断中测试取得了显著的效果。

Jun, 2022

基于分布匹配的校准：可训练核校准度量

校准方法的研究提出了基于核的校准评估指标，将校准问题视为分布匹配任务，用于分类和回归，通过优化实证风险最小化的校准目标，在决策任务中提供了直观机制来量化指标和做出准确的损失估计和无悔决策，实验结果表明在一系列分类和回归任务中，这些指标作为正则化项能够提高校准度、预测的准确性以及决策能力，超过仅仅依靠事后校准的方法。

Oct, 2023

从不确定性到精确性：通过校准提升二元分类器性能

我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

Feb, 2024

回归分布校准

本文介绍了一种新的分布校准方法，并提出了采用多输出高斯过程和 Beta 链接函数的方法来改善先前训练的回归模型的预测的后验方法。该方法得到了实验验证，并在分布层和分位数层面上均有所提高。

May, 2019

训练后的机器学习回归模型中不确定性传播的分析结果

机器学习模型在计量学应用中的可信度需要伴随确定性不确定性的量化，本文解决了经过训练 / 固定的机器学习回归模型中不确定性传播的挑战，提供了在特定输入数据分布和多种机器学习模型下，对模型输出均值和方差的解析表达式，并通过数值实验验证方法，与蒙特卡罗方法在计算效率上进行比较，同时以锂离子电池状态建模为例，展示了方法的应用。

Apr, 2024

评估数据集偏移下模型预测不确定性的可信度

以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

Jun, 2019