单次 MC Dropout 近似
我们提出了一种快速的基于矩阵传播的近似方法,将神经网络转换成贝叶斯神经网络,实现对预测分布的点估计和不确定性估计,并通过与深度集成技术相结合进一步提高不确定性测量的性能。
Aug, 2023
本研究发展了一种新的理论框架,将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性,从而解决了在深度学习中表示不确定性的问题,而不会牺牲计算复杂性或测试精度。
Jun, 2015
本研究提出了一种名为 MC-DropConnect 的方法,通过给神经网络权重施加伯努利分布来近似 Bayesian 推断,从而在不改变基础结构或增加计算成本的情况下表示模型的不确定性,并用新的指标来量化不确定性的估计。实验证明,该框架相较于现有的技术,在预测准确性和不确定性估计质量方面均有显著提高。
Jun, 2019
在本论文中,我们提出了一种用于二元神经网络(BNNs)的新型正则化技术 —— 比例 Dropout(Scale Dropout),以及基于蒙特卡罗比例 Dropout(MC-Scale Dropout)的 Bayesian NNs,用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存(CIM)架构,相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法,结果显示相对于相关工作,我们的方法在预测性能上有 1% 的改进,并提供了更优的不确定性估计。
Nov, 2023
本文研究基于 Monte Carlo(MC)dropout 的神经网络在一定条件下能够近似产生贝叶斯推断,在一定的权重和偏差配置下,未经训练的深度神经网络依赖于 dropout 也可以收敛于 Gaussian 过程,但在有限宽度的神经网络中,我们发现激活之间的相关性可能导致非 Gaussian 的行为。实证分析表明这并不适用于神经网络的权重高度相关的情况下。
Jul, 2020
提出了一种基于时间步机制和 Monte Carlo-Dropout 的 Spiking neural networks 不确定性估计方法,该方法在实现高精度和不确定质量的同时,不会在训练和推断过程中引入显著的额外开销,适用于能源高效应用。
Apr, 2023
本文探究机器学习模型预测不确定性模拟的一种技术 Monte-Carlo Dropout 的聚类方法,并使用贝叶斯高斯混合模型来解决效率问题。同时研究了不同的 dropout rate,focal loss 和标度等技术,并将它们整合到 Mask-RCNN 模型中,以获得每个实例最准确的不确定性估计并进行图形展示。
May, 2023
本文提出了一种有效的方法,通过 Distilled Dropout Network(DDN)来使神经网络输出更好的校准不确定性得分,从而防止过度自信,具有与蒙特卡罗方法相当的校准结果和更高的分类准确性,同时在目标检测框架中实现更好的校准,并通过 COCO 数据集验证其有效性。
Sep, 2018
本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明,在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样,可以得到 Spike-and-slab 变分分布,避免增加所学参数数量的同时,获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。
Nov, 2016