具有伯努利近似变分推断的贝叶斯卷积神经网络
本文提出了基于贝叶斯卷积神经网络的变分推断方法,通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题,并在图像分类等任务上进行了实验测试。
Jan, 2019
通过研究两种常见的变分方法,该文证明了在低不确定性区域之间不存在过多信息增加的情况,并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布,但发现了类似于单隐层 ReLU 情况的病理现象。
Sep, 2019
本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明,在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样,可以得到 Spike-and-slab 变分分布,避免增加所学参数数量的同时,获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。
Nov, 2016
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具:一种新的确定性方法用于逼近神经网络的矩,消除了梯度方差;一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来,所得到的方法高效而稳健,在异方差回归应用中表现出了很好的预测性能。
Oct, 2018
我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
提出一种新颖的方法,名为 Bayesian optimized 1-bit CNNs(简称 BONNs),利用贝叶斯优化后的 1-bit CNNs 极大程度地改善了其性能,能够在资源受限的环境中获得最佳分类性能,尤其在 ImageNet 上。
Aug, 2019
该论文介绍了 Bayes by Hypernet,一种新的变分逼近方法,通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信,并且不能产生有意义的不确定性度量的短板,本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性,同时满足复杂度、可扩展性和准确度的要求。
Nov, 2017
使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练,大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中,贝叶斯循环神经网络优于传统循环神经网络。
Apr, 2017
本研究利用自然梯度变分推理方法对深度神经网络进行实用性的训练,并通过批归一化、数据扩充和分布式训练等技术获得类似于 Adam 优化器的性能,即使在 ImageNet 等大型数据集上也是如此。此外,本研究验证了使用贝叶斯原理的好处:预测概率被很好地校准,超出分布数据的不确定性得到改善,并且持续学习性能得到提高。该研究旨在实现实用性的深度学习,并同时保留贝叶斯原理的好处。最后提供了一个 PyTorch 的实现优化器。
Jun, 2019