训练的神经网络中低成本的不确定性的预测刚度形式化

Mar, 2024

训练的神经网络中低成本的不确定性的预测刚度形式化

A prediction rigidity formalism for low-cost uncertainties in trained neural networks

Filippo Bigi, Sanggyu Chong, Michele Ceriotti, Federico Grasselli

TL;DR基于约束优化问题的解决方案，我们提出 “预测刚性” 作为一种获取任意预训练回归器的不确定性的方法，并建立了我们的框架与贝叶斯推理之间的强连接。我们还开发了一种最后一层逼近，使得这种方法可以应用于神经网络，并且不需要对神经网络本身或其训练过程进行任何修改。我们在从简单玩具模型到化学和气象学应用的各种回归任务中展示了我们方法的有效性。

Abstract

regression methods are fundamental for scientific and technological applications. However, fitted models can be highly unreliable outside of their training domain, and hence the quantification of their uncertainty is crucial in many of their applications. Based on the solution of a con

regression methods uncertainty quantification prediction rigidities bayesian inference neural networks

发现论文，激发创造

深度学习不确定性估计的通用框架

提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

Jul, 2019

使用校准回归的深度学习准确不确定性

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018

机器学习中的不确定性估计

本文研究基于统计学习理论的机器学习方法中的不确定性问题，并深入探讨了在回归分析中评估模型系数和输出特征值预测中的不确定度。另外，针对机器学习中的模型复杂度和严重非线性等问题提出解决方案，并指出决策制定时需要对机器学习模型和预测进行不确定性评估、风险评估的需求，并提供使用非参数技术解决不确定性问题的方法及最新的超级计算机设备供进行高强度计算。

Jun, 2022

非模型广义基准推断

基于可靠性和可问责性的指导原则，本文提出了一种模型无关的统计框架，用于不确定性量化和统计推断，通过预测集提供可控制第一类错误的有限样本控制方法，并提供了灵活的工具用于不确定性概率推理。

Jul, 2023

回归任务中的不确定性预测评估和校准

本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

May, 2019

通过带有输入 / 输出内核的残差估计量化神经网络中的点预测不确定性

该论文介绍了一种新的基于 Gaussian 过程模型的神经网络不确定性估算框架 RIO，该框架可应用于任何标准神经网络，无需对模型架构或训练流程进行修改，可以提供可靠的不确定性估算，并减少点预测的误差，具有较强的可扩展性。

Jun, 2019

可靠的方差网络训练和估计

本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

Jun, 2019

使用贝叶斯深度神经网络量化雷诺平均湍流模型的形式不确定性

本文介绍了一种新颖的数据驱动框架，使用不变的贝叶斯深度神经网络以及蒙特卡罗方法对流体量，比如速度和压力提供概率边界，并且在两个测试用例中进行结果呈现。该框架不仅可以提高 RANS 计算预测结果的准确性，而且还允许在没有高保真度观察或先验知识的流中，对模型置信度和不确定性进行定量测量。

Jul, 2018

神经关系推理轨迹重构中的不确定性

本文扩展了 Factorised Neural Relational Inference 模型，加入了输出每个相空间向量部分的均值和标准差以及相应的损失函数，以解决神经网络在多交互轨迹重建中缺乏输出不确定性估计的问题。本文研究了多种损失函数，包括凸函数和 Bayesian 方法，并且我们发现在考虑不确定性时，变量的物理意义非常重要，且存在难以避免的病态局部最小值问题。

Jun, 2020

基于敏感度的密集回归无需训练的不确定性估计

提出三种方法以分析密集回归训练网络的输出方差，在推理过程中无需重新训练或调整模型，这些方法得出的不确定性估计结果与需要重新训练以及调整的最先进的方法相当甚至更好。

Sep, 2019