Dec, 2023

使用因子图对经过训练的深度神经网络进行不确定性传播

PDF
TL;DR预测不确定性估计是一个具有挑战性的问题，阻碍了深度神经网络在安全关键应用中作为子系统的使用。我们通过将不确定性传播视为非线性优化问题，采用因子图的方法，观察到在大部分实验中（包括三个数据集和两种神经网络架构），相较于以前的工作，在性能方面取得了显著的提升。我们的实现平衡了采样和分析传播技术的好处，这在实现性能提升方面起到了关键作用。
predictive uncertainty estimationdeep neural networkssafety-critical applicationsuncertainty propagationfactor graphs
发现论文，激发创造
  • 医学成像管道中的不确定性传播和归因

    通过级联深度学习模型在医学影像流水线中传播不确定性，我们提出了一种建立可解释的神经网络的不确定性估计方法，并展示了其在重建脑和膝盖磁共振图像以及预测定量信息方面的效用。

    Sep, 2023

  • 神经网络中的深度不确定性

    通过对神经网络的深度进行概率推理，我们能够只需一次前向传播，就能估计模型的不确定性。在真实的回归和图像分类任务中，我们验证了这一方法的效果，并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。

    Jun, 2020

  • 因子图上基于神经网络的增强置信传播

    本文提出了一种新的混合模型，将因子图神经网络与置信传播结合起来，通过每一次迭代交替地运行，从而在误差纠正编码任务方面优于置信传播。

    Mar, 2020

  • 节点分类中的不确定性传播

    本文提出了一种基于贝叶斯学习框架嵌入 GNN（图神经网络）的不确定性传递方法，通过建模节点预测的后验概率的置信度以及消息的不确定性，实现了有关节点分类的不确定度传递。同时，还提出了一种针对分类的不确定度取向损失函数，使得训练集中可能引入误差的样本可以得到应有的惩罚，最终通过实验结果的比较证明了该方法的优越性。

    Apr, 2023

  • 迈向无偏随机不确定性估计的一步

    该研究提出了一种新的数据不确定性估计方法，通过主动去噪处理观察数据，以更准确地近似实际数据不确定性。实验证明，与标准方法相比，我们提出的方法更接近实际数据不确定性。

    Dec, 2023

  • 神经关系推理轨迹重构中的不确定性

    本文扩展了 Factorised Neural Relational Inference 模型，加入了输出每个相空间向量部分的均值和标准差以及相应的损失函数，以解决神经网络在多交互轨迹重建中缺乏输出不确定性估计的问题。本文研究了多种损失函数，包括凸函数和 Bayesian 方法，并且我们发现在考虑不确定性时，变量的物理意义非常重要，且存在难以避免的病态局部最小值问题。

    Jun, 2020

  • 采样免的近似方差传播用于认知不确定性估计

    提供了一种比使用蒙特卡洛采样估计神经网络的认识不确定性的方法更加高效的近似方法，该方法适用于大规模视觉任务。

    Aug, 2019

  • 稳定分布传播的不确定性量化

    基于局部线性化的方法来通过神经网络传播稳定的概率分布，以量化其输出的不确定性。

    Feb, 2024

  • 物理引导神经网络中的对抗不确定性量化

    本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。

    Nov, 2018

  • 神经网络中协方差传播的解析解

    神经网络的不确定性量化对于评估深度学习系统的可靠性和鲁棒性至关重要。本文提出了一种无样本的矩阵传播技术，通过在网络中传播均值向量和协方差矩阵来准确表征神经网络的输入 - 输出分布。我们的技术的一个关键因素是解析解，用于描述通过非线性激活函数（如 Heaviside、ReLU 和 GELU）传递的随机变量的协方差。在对已训练的神经网络和贝叶斯神经网络的输入 - 输出分布进行分析的实验证明了所提出技术的广泛适用性和优点。

    Mar, 2024