回归任务中的不确定性预测评估和校准
本文探讨贝叶斯方法在不确定性问题上的推理方法,提出一种简单有效的校准程序,可以保证在足够的数据下,任何回归算法都能够产生准确的校准不确定性估计,并应用于贝叶斯线性回归、前向和递归神经网络中,能够稳定输出准确的区间预测,并提高时间序列预测和基于模型的强化学习性能。
Jul, 2018
该研究提出了一种用于回归设置的校准方法,称为经验性地校准回归不确定性分布(CRUDE),该方法不假定错误的特定不确定性分布,并展示了它的理论联系以及 CRUDE 的性能优于现有技术。
May, 2020
应用于自动驾驶和手术机器人等许多安全关键应用中,从对象检测模块获取预测不确定性以帮助支持安全决策是可取的。本文中我们介绍了一种方法用于解决单个对象定位任务的边界框的不确定性问题。我们使用现有技术来校准回归模型,实验表明所得出的校准模型得到了更可靠的不确定性估计。
Nov, 2018
优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法,通过可微的 loss 函数来实现模型的不确定性校准,结果显示比现有的方法在大规模图像分类任务中表现的更好
Dec, 2020
以大量分类问题为基础,对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估,发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。
Jun, 2019
我们提出了一种基于几何的方法来估计不确定性,它可通过后处理模型校准来实现,避免了重新训练和更改模型,经多个数据集和模型的详细评估显示出更好的不确定性估计,并且可在接近实时应用中使用。
Jun, 2022
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019
我们分析了各种校准度量对分数失真的敏感性,并引入了一种精确的度量标准,即本地校准分数,比较了校准方法,提倡使用局部回归,强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现,使用随机森林分类器和回归器预测信用违约,并在性能优化过程中同时测量校准度。
Feb, 2024
校准方法的研究提出了基于核的校准评估指标,将校准问题视为分布匹配任务,用于分类和回归,通过优化实证风险最小化的校准目标,在决策任务中提供了直观机制来量化指标和做出准确的损失估计和无悔决策,实验结果表明在一系列分类和回归任务中,这些指标作为正则化项能够提高校准度、预测的准确性以及决策能力,超过仅仅依靠事后校准的方法。
Oct, 2023