宽神经网络中的蒙特卡罗 Dropout 特性

ICMLJul, 2020

宽神经网络中的蒙特卡罗 Dropout 特性

Characteristics of Monte Carlo Dropout in Wide Neural Networks

Joachim Sicking, Maram Akila, Tim Wirtz, Sebastian Houben, Asja Fischer

TL;DR本文研究基于 Monte Carlo（MC）dropout 的神经网络在一定条件下能够近似产生贝叶斯推断，在一定的权重和偏差配置下，未经训练的深度神经网络依赖于 dropout 也可以收敛于 Gaussian 过程，但在有限宽度的神经网络中，我们发现激活之间的相关性可能导致非 Gaussian 的行为。实证分析表明这并不适用于神经网络的权重高度相关的情况下。

Abstract

Monte Carlo (MC) dropout is one of the state-of-the-art approaches for uncertainty estimation in neural networks (NNs). It has been interpreted as approximately performing Bayesian inference. Based on previous wo

monte carlo dropout neural networks uncertainty estimation gaussian processes gradient descent

发现论文，激发创造

MC Dropout 行为注记

本研究探讨了 Monte-Carlo dropout 的行为特性，并发现了一些需要注意的有趣属性，以供不确定性估计时谨慎考虑和测试。

Aug, 2020

神经网络的单次贝叶斯逼近

我们提出了一种快速的基于矩阵传播的近似方法，将神经网络转换成贝叶斯神经网络，实现对预测分布的点估计和不确定性估计，并通过与深度集成技术相结合进一步提高不确定性测量的性能。

Aug, 2023

单次 MC Dropout 近似

该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。

Jul, 2020

Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

Jun, 2015

Dropout 作为一种结构收缩先验

研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

Oct, 2018

规模 - 丢弃：使用随机规模估计深度神经网络中的不确定性

在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

Nov, 2023

基于 MC-dropout 的脉冲神经网络高效不确定性估计

提出了一种基于时间步机制和 Monte Carlo-Dropout 的 Spiking neural networks 不确定性估计方法，该方法在实现高精度和不确定质量的同时，不会在训练和推断过程中引入显著的额外开销，适用于能源高效应用。

Apr, 2023

Dropout 作为贝叶斯近似：附录

采用随机失活（dropout）技术的神经网络可以被等效地表示为贝叶斯模型的一种逼近，该方法可以帮助我们更好地理解神经网络中的不确定性并将贝叶斯方法引入深度学习框架。

Jun, 2015

DropConnect 在建模贝叶斯深度网络不确定性方面非常有效

本研究提出了一种名为 MC-DropConnect 的方法，通过给神经网络权重施加伯努利分布来近似 Bayesian 推断，从而在不改变基础结构或增加计算成本的情况下表示模型的不确定性，并用新的指标来量化不确定性的估计。实验证明，该框架相较于现有的技术，在预测准确性和不确定性估计质量方面均有显著提高。

Jun, 2019

通过采样强健地表示深度神经网络中的不确定性

本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。

Nov, 2016