Mar, 2024

迭代神经网络中的不确定性估计

PDF
TL;DR将逐级网络架构转化为迭代网络架构是性能提升的众所周知方法，本文提出这样的网络架构不仅具有性能提升的好处，而且其输出的收敛速率与收敛值的精确度密切相关，因此我们可以将收敛速率作为一种有用的不确定性代理方法，通过这种方法可以以比集成技术更低的计算成本提供最先进的不确定性估计，并且无需对原始迭代模型进行任何修改。我们将其嵌入两个应用领域进行实际价值展示：航空影像中的道路检测和 2D 和 3D 形状的气动性能估计。
iterative network architecturesconvergence rateuncertainty estimationroad detectionaerodynamic properties
发现论文，激发创造
  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019

  • 重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

    本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

    Mar, 2019

  • 神经网络中的深度不确定性

    通过对神经网络的深度进行概率推理，我们能够只需一次前向传播，就能估计模型的不确定性。在真实的回归和图像分类任务中，我们验证了这一方法的效果，并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。

    Jun, 2020

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 端到端控制的空间不确定性采样

    本文提出了一种利用特征映射相关性估计不确定性的贝叶斯神经网络用于端到端控制，该方法在传统元素级 dropout 方法上实现了更好的模型拟合和更紧密的不确定性估计。

    May, 2018

  • 神经状态空间模型：不确定性量化的实证评估

    本研究应用 Bayesian 概率框架和近似推理技术，对神经状态空间模型进行不确定性量化，得出模型输出的可信区间和惊奇指数，以有效诊断模型在潜在危险的分布区域内的使用可能性。

    Apr, 2023

  • 迈向无偏随机不确定性估计的一步

    该研究提出了一种新的数据不确定性估计方法，通过主动去噪处理观察数据，以更准确地近似实际数据不确定性。实验证明，与标准方法相比，我们提出的方法更接近实际数据不确定性。

    Dec, 2023

  • 深度神经网络中的不确定性调查

    本文对神经网络不确定性估计进行了全面的概述和介绍，包括模型不确定性和数据不确定性，并介绍了通过确定性神经网络、贝叶斯神经网络、神经网络集合和测试时间数据增强方法来建模这些不确定性的方法。此外，还讨论了不确定性方面的实际应用中存在的挑战和限制，以及未来工作的展望。

    Jul, 2021

  • 利用人工神经网络学习不确定性以改进预测性流程监控

    研究了使用贝叶斯神经网络中的可学习不确定性来训练预测过程监控模型，以预测剩余时间和结果，并得出结论认为这种不确定性估计可以区分更精确和不太精确的预测，从而提高了用户对于这种预测系统的信心，在合作和以较小的数据集进行更早的实施方面具有潜在的可应用性。

    Jun, 2022

  • 哪些模型天生就擅长不确定性估计？

    探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

    Jun, 2022