SDE-Net：为深度神经网络提供不确定性估计

ICMLAug, 2020

SDE-Net：为深度神经网络提供不确定性估计

SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates

Lingkai Kong, Jimeng Sun, Chao Zhang

TL;DR我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。

Abstract

uncertainty quantification is a fundamental yet unsolved problem for deep learning. The Bayesian framework provides a principled way of uncertainty estimation but is often not scalable to modern deep neural nets

uncertainty quantification deep neural nets stochastic dynamical system epistemic uncertainty sde-net model

发现论文，激发创造

基于神经 SDE-RNN 的不确定性量化通用框架

提出一个基于循环神经网络和神经随机微分方程的框架，以处理不规则采样下时间序列插补中的不确定性量化问题，并通过解析表达式量化和传播时刻间认知和随机不确定性，该方法在 IEEE 37 总线测试分布系统上优于现有的时序数据插值不确定性量化方法。

Jun, 2023

如何从三分钟数据中学习和泛化：物理约束和不确定性感知的神经随机微分方程

本文提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法，能够构建模型预测控制算法以及模型基的增强学习领域中的仿真器，在模拟机器人系统中得到良好的应用。

Jun, 2023

基于贝叶斯深度卷积编码 - 解码网络的代理建模和不确定性量化

本文提出了一种使用卷积神经网络实现的关于具有随机偏微分方程的不确定性建模的代理模型，该方法使用变分梯度下降算法对参数进行 “近似贝叶斯推断”，可以在处理不确定性时实现和其他方法相比具有最先进的预测精度和不确定性量化，即使训练数据量相对较小，也能获得非常好的性能。

Jan, 2018

随机微分方程的无限深贝叶斯神经网络

本文介绍了在连续深度贝叶斯神经网络中进行可扩展的近似推断的方法，借助随机微分方程给出了隐藏单元，并使用基于梯度的随机变分推断和新的梯度估计器，这种方法使连续深度贝叶斯神经网络具有和离散深度替代方法同样的竞争力，并继承了神经 ODE 的内存高效训练和可调节精度。

Feb, 2021

使用深度集成实现简单且可扩展的预测不确定性估计

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016

量化物理信息神经网络解决正向和反向随机问题的总不确定性

通过使用随机数据和 dropout 法来分别表示参数不确定性和近似不确定性，将经典的 PINN（物理信息神经网络）与 NN-aPC 的推广相结合，扩展了我们的工作到多维随机偏微分方程。

Sep, 2018

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

神经状态空间模型：不确定性量化的实证评估

本研究应用 Bayesian 概率框架和近似推理技术，对神经状态空间模型进行不确定性量化，得出模型输出的可信区间和惊奇指数，以有效诊断模型在潜在危险的分布区域内的使用可能性。

Apr, 2023

通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

Jun, 2020

评估科学应用中神经 PDE 的不确定量化方法

神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。

Nov, 2023