NIPSNov, 2016

通过采样强健地表示深度神经网络中的不确定性

PDF
TL;DR本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。
发现论文，激发创造
  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015

  • 神经网络的单次贝叶斯逼近

    我们提出了一种快速的基于矩阵传播的近似方法，将神经网络转换成贝叶斯神经网络，实现对预测分布的点估计和不确定性估计，并通过与深度集成技术相结合进一步提高不确定性测量的性能。

    Aug, 2023

  • DropConnect 在建模贝叶斯深度网络不确定性方面非常有效

    本研究提出了一种名为 MC-DropConnect 的方法，通过给神经网络权重施加伯努利分布来近似 Bayesian 推断，从而在不改变基础结构或增加计算成本的情况下表示模型的不确定性，并用新的指标来量化不确定性的估计。实验证明，该框架相较于现有的技术，在预测准确性和不确定性估计质量方面均有显著提高。

    Jun, 2019

  • 规模 - 丢弃：使用随机规模估计深度神经网络中的不确定性

    在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

    Nov, 2023

  • 具有伯努利近似变分推断的贝叶斯卷积神经网络

    通过在 CNN 的内核上建立概率分布，使用伯努利变分分布来近似模型的不可切合后验，并将 dropout 网络训练视为 Bayesian 神经网络中的近似推理。相比于标准技术，我们的模型在小数据上具备更好的鲁棒性，并在 CIFAR-10 上的分类准确率上取得了发表的最新结果的显著改善。

    Jun, 2015

  • 单次 MC Dropout 近似

    该研究旨在通过一种单次 MC 退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署 BDNNs 时实现预测分布的点估计和不确定性估计。

    Jul, 2020

  • 使用结构化随机失活进行卷积神经网络置信度校准

    通过集成学习，本文探讨使用结构化 dropout 方法以促进模型多样性和提高置信度校准。在三个数据集中对比了多种 dropout 技术的模型多样性和置信误差，并在贝叶斯主动学习案例中验证了结构化 dropout 方法的优势。

    Jun, 2019

  • 基于蒙特卡洛失活的贝叶斯神经网络施行旋转电子学测试

    Bayesian Neural Networks (BayNNs) and uncertainty estimation in spintronics-based computation-in-memory architectures are analyzed with a focus on the reliability of Dropout generation and BayNN computation, proposing a testing framework for Dropout-based BayNN with high fault coverage and minimal training data usage.

    Jan, 2024

  • 浅层和深度学习的改进 Dropout

    本研究提出使用多项式抽样的退役方法，并分析了使用多项式退役的浅层学习。通过最小化风险界中的采样相关因子，我们获得了基于分布的退役，用于处理深度学习中的神经元演化问题，进一步提出了一种名为 “进化退役” 的自适应退役，以从小批量示例即时计算采样概率。实证研究表明，与标准的退役相比，所提出的退役不仅实现了更快的收敛速度，而且在预测性能和收敛速度上都有超过 10％和 50％的相对改进。

    Feb, 2016

  • 基于 MC-dropout 的脉冲神经网络高效不确定性估计

    提出了一种基于时间步机制和 Monte Carlo-Dropout 的 Spiking neural networks 不确定性估计方法，该方法在实现高精度和不确定质量的同时，不会在训练和推断过程中引入显著的额外开销，适用于能源高效应用。

    Apr, 2023