轻量级概率深度网络

CVPRMay, 2018

Lightweight Probabilistic Deep Networks

Jochen Gast, Stefan Roth

TL;DR本文介绍了两种轻量级的方法，使具有概率性的深层网络的监督学习变得实用，首先，我们建议使用分类和回归的概率性输出层，其对现有网络只需进行最小的更改，其次，我们使用假设密度过滤（assumed density filtering）并展示如何将激活不确定性以实用的方式传播到整个网络中，这两种概率性网络保留了确定性网络的预测能力，但产生与其预测引起的经验误差相关的不确定性。

Abstract

Even though probabilistic treatments of neural networks have a long history, they have not found widespread use in practice. Sampling approaches are often too slow already for simple networks. The size of the inp

neural networks probabilistic treatments supervised learning probabilistic output layers assumed density filtering

发现论文，激发创造

神经网络中的深度不确定性

通过对神经网络的深度进行概率推理，我们能够只需一次前向传播，就能估计模型的不确定性。在真实的回归和图像分类任务中，我们验证了这一方法的效果，并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。

Jun, 2020

密度不确定性层用于可靠的不确定性估计

为了应用于深度学习的相关领域，评估深度神经网络的预测不确定性是至关重要的。本文提出了一种新的预测不确定性标准，它应该基于输入的经验密度，使得对于训练数据中不可能出现的输入提供更高的不确定性，对于更可能出现的输入提供较低的不确定性，并开发了一个用于随机神经网络的密度不确定性层，以确保满足这一标准，研究了具有密度不确定性层的神经网络在 CIFAR-10 和 CIFAR-100 不确定性基准上的性能

Jun, 2023

通过输入不确定性理解深度神经网络

利用轻量级概率网络，将预测不确定性纳入灵敏度分析以及通过不确定性分解的新方法进行模型解释，最终提高了模型的鲁棒性和推广能力，并从输入域的不确定性解释预测不确定性，从而提供了验证和解释深度学习模型的新方法。

Oct, 2018

贝叶斯神经网络：基础知识

本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。

Jun, 2021

深度神经网络的采样权重

我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

Jun, 2023

PROVEN：一种基于概率方法验证神经网络的稳健性

该研究提出了一种概率证明框架 PROVEN，用于验证神经网络在输入加噪时的鲁棒性，可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变，证书是基于现有的神经网络鲁棒性验证框架，该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。

Dec, 2018

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021

建模科学机器学习中的随机不确定性的概率神经网络 (PNNs)

本研究调查了使用概率神经网络（PNN）来建模巧合不确定性的方法，PNN 生成目标变量的概率分布，能够在回归场景中确定预测均值和区间，实验证实了 PNN 在建模巧合不确定性方面的有效性，特别是在真实科学机器学习环境中，PNN 产生接近 0.97 的高精度输出均值估计和 0.80 的预测区间的高相关系数，为利用神经网络的复杂表示能力来揭示科学问题中的复杂输入输出关系的持续探索做出了贡献。

Feb, 2024

深度学习的概率论理论

通过发展概率性深度学习框架，研究人员解释了为什么深度学习算法能够胜任复杂感知推断任务，并发现了这些算法的成功和不足之处，提供了其改进的原则路径。

Apr, 2015

使用深度集成实现简单且可扩展的预测不确定性估计

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016