神经网络的单次贝叶斯逼近
该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。
Jul, 2020
提出了一种基于时间步机制和 Monte Carlo-Dropout 的 Spiking neural networks 不确定性估计方法，该方法在实现高精度和不确定质量的同时，不会在训练和推断过程中引入显著的额外开销，适用于能源高效应用。
Apr, 2023
在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。
Nov, 2023
本文研究基于 Monte Carlo（MC）dropout 的神经网络在一定条件下能够近似产生贝叶斯推断，在一定的权重和偏差配置下，未经训练的深度神经网络依赖于 dropout 也可以收敛于 Gaussian 过程，但在有限宽度的神经网络中，我们发现激活之间的相关性可能导致非 Gaussian 的行为。实证分析表明这并不适用于神经网络的权重高度相关的情况下。
Jul, 2020
本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。
Jun, 2015
Bayesian Neural Networks (BayNNs) and uncertainty estimation in spintronics-based computation-in-memory architectures are analyzed with a focus on the reliability of Dropout generation and BayNN computation, proposing a testing framework for Dropout-based BayNN with high fault coverage and minimal training data usage.
Jan, 2024
本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。
Nov, 2016
本研究提出了一种基于仿真蒙特卡罗 dropout 方法的 BNN 时间序列预测和不确定性估计方法，用于卫星遥测异常检测，实现了更准确和可靠的检测。
Nov, 2022
本文探究机器学习模型预测不确定性模拟的一种技术 Monte-Carlo Dropout 的聚类方法，并使用贝叶斯高斯混合模型来解决效率问题。同时研究了不同的 dropout rate，focal loss 和标度等技术，并将它们整合到 Mask-RCNN 模型中，以获得每个实例最准确的不确定性估计并进行图形展示。
May, 2023