贝叶斯神经网络：一种极小极大博弈框架

Nov, 2023

贝叶斯神经网络：一种极小极大博弈框架

Bayesian Neural Networks: A Min-Max Game Framework

Junping Hong, Ercan Engin Kuruoglu

TL;DR使用随机变量描述神经网络的贝叶斯神经网络被构建成极小极大博弈问题，通过在 MNIST 数据集上的实验结果，发现其与闭环转录神经网络有可比性，并揭示了两者之间的联系和贝叶斯神经网络的实用性。

Abstract

bayesian neural networks use random variables to describe the neural networks rather than deterministic neural networks and are mostly trained by variational inference which updates the mean and variance at the same time. Here, we formulate the →

bayesian neural networks variational inference minimax game problem mnist dataset closed-loop transcription neural networks

发现论文，激发创造

贝叶斯神经网络：基础知识

本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。

Jun, 2021

神经网络中的隐含权重不确定性

该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

Nov, 2017

鲁棒贝叶斯神经网络的确定性变分推断

本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

Oct, 2018

贝叶斯神经网络：简介和调查

本研究介绍贝叶斯神经网络的实现方法，比较不同的近似推理方法，探讨如何在当前方法的基础上改进未来研究。

Jun, 2020

贝叶斯递归神经网络

使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。

Apr, 2017

神经网络中的权重不确定性

提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。

May, 2015

贝叶斯神经网络实践 -- 适用于深度学习用户的教程

该研究论文介绍了深度学习和贝叶斯统计的结合，使用贝叶斯神经网络进行训练和评估以及解决拟合不足的问题。

Jul, 2020

关于贝叶斯神经网络中近似推断表现的探讨

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

信念网络中的神经变分推断和学习

我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014

贝叶斯卷积神经网络与变分推断的全面指南

本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。

Jan, 2019