MC Dropout 行为注记
本文研究基于 Monte Carlo(MC)dropout 的神经网络在一定条件下能够近似产生贝叶斯推断,在一定的权重和偏差配置下,未经训练的深度神经网络依赖于 dropout 也可以收敛于 Gaussian 过程,但在有限宽度的神经网络中,我们发现激活之间的相关性可能导致非 Gaussian 的行为。实证分析表明这并不适用于神经网络的权重高度相关的情况下。
Jul, 2020
本研究发展了一种新的理论框架,将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性,从而解决了在深度学习中表示不确定性的问题,而不会牺牲计算复杂性或测试精度。
Jun, 2015
该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间,同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证,该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。
Jul, 2020
本文探究机器学习模型预测不确定性模拟的一种技术 Monte-Carlo Dropout 的聚类方法,并使用贝叶斯高斯混合模型来解决效率问题。同时研究了不同的 dropout rate,focal loss 和标度等技术,并将它们整合到 Mask-RCNN 模型中,以获得每个实例最准确的不确定性估计并进行图形展示。
May, 2023
提出了一种基于时间步机制和 Monte Carlo-Dropout 的 Spiking neural networks 不确定性估计方法,该方法在实现高精度和不确定质量的同时,不会在训练和推断过程中引入显著的额外开销,适用于能源高效应用。
Apr, 2023
使用连续松弛的 dropout 的变体方法提供更好的性能和更好的校准不确定性估计,从而使大的视觉模型和强化学习的 uncertainty estimates 自动调优,进而实现更快的实验周期,同时可以使代理人在观察到更多数据时动态地适应其不确定性。
May, 2017
我们提出了一种快速的基于矩阵传播的近似方法,将神经网络转换成贝叶斯神经网络,实现对预测分布的点估计和不确定性估计,并通过与深度集成技术相结合进一步提高不确定性测量的性能。
Aug, 2023
本文研究了贝叶斯方法中的一种蒙特卡罗 dropout,提供了在评估神经网络的认知不确定性方面的原则性工具,继而提出了 dropout 注入的方法,它是嵌入式 dropout 的实用替代方案,文中着重研究了回归问题的实验结果,同时指出了其有效使用的指南。
Feb, 2023
在本论文中,我们提出了一种用于二元神经网络(BNNs)的新型正则化技术 —— 比例 Dropout(Scale Dropout),以及基于蒙特卡罗比例 Dropout(MC-Scale Dropout)的 Bayesian NNs,用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存(CIM)架构,相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法,结果显示相对于相关工作,我们的方法在预测性能上有 1% 的改进,并提供了更优的不确定性估计。
Nov, 2023