用变分推断训练的贝叶斯神经网络的中心极限定理

Jun, 2024

用变分推断训练的贝叶斯神经网络的中心极限定理

Central Limit Theorem for Bayesian Neural Network trained with Variational Inference

Arnaud Descours, Tom Huix, Arnaud Guillin, Manon Michel, Éric Moulines...

TL;DR本文通过严密推导，针对贝叶斯两层神经网络在无穷宽度限制下采用变分推断方法进行回归任务训练，证明了它们的中心极限定理（CLT）。该研究比较了不同网络训练方案的波动行为，发现最小化变分推断方法在计算复杂度上具有更高效的优势。

Abstract

In this paper, we rigorously derive central limit theorems (CLT) for Bayesian two-layerneural networks in the infinite-width limit and trained by variational inference on a regression task. The different networks

central limit theorems bayesian neural networks variational inference regression task computational complexity

发现论文，激发创造

浅层神经网络的动态中心极限定理

研究神经网络在梯度下降中的表现，证明了 2 范数的上限可以帮助在训练过程中控制一般化误差，数值实验结果与理论结果相符合。

Aug, 2020

神经网络的平均场分析：中心极限定理

本文通过随机分析弱收敛方法证明单层神经网络模型在隐藏单元数量和随机梯度下降迭代次数均较大时存在中心极限定理；结果表明网络在平均场极限周围的波动符合高斯分布，并且满足一些随机偏微分方程。

Aug, 2018

无限宽的贝叶斯神经网络中权重无界方差下的后验推断

针对具有无界方差的神经网络权重的后验推断问题，提供了一种可解释且计算高效的条件高斯表达方法。该方法可利用高斯过程机器进行可行的后验推断和不确定性量化。

May, 2023

深度神经网络中的定量中心极限定理

研究具有随机高斯权重和偏差的全连接神经网络的分布，其中隐藏层宽度与大常数 $n$ 成比例，并获得在有限但大的 $n$ 和任意固定网络深度下有效的正常近似的定量界限。

Jul, 2023

顺序蒙特卡罗方法的中心极限定理及其在贝叶斯推断中的应用

本文建立了顺序蒙特卡罗方法的中心极限定理，它是一种通用的迭代算法，执行所需分布序列的蒙特卡罗估计。这个结果适用于在文献中考虑过的大多数顺序蒙特卡罗方法的一般框架，涵盖了对所需分布进行最小假设的情况，同时提供对给定粒子滤波器精度的方便测量。文章研究了在一些典型的贝叶斯应用中，这些渐近方差是否在时间上发散及其速率，以评估所考虑算法的长期可靠性。

Aug, 2005

具有马尔科夫噪声的双时间尺度随机逼近的中心极限定理：理论与应用

通过中心极限定理对双时间尺度随机逼近（TTSA）在受控马尔可夫噪声下进行了深入的渐近分析，揭示了受底层马尔可夫链影响的 TTSA 的耦合动态，从而扩展了其应用范围，并结合应用结果推断了使用马尔可夫样本的 GTD 算法的统计性质和渐近性能。

Jan, 2024

神经网络贝叶斯推断中的数据变异理论

基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

Jul, 2023

深度贝叶斯模型的改进变分推理

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

关于贝叶斯神经网络中近似推断表现的探讨

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

宽广场（Wide）均场变分贝叶斯神经网络忽视数据

该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中 KL 散度过度正则化的洞见。

Jun, 2021