May, 2023

深度集成和（变分）贝叶斯方法之间的严密联系

PDF
TL;DR本文建立了贝叶斯、变分贝叶斯和集成学习方法之间的第一个数学严谨联系，并将深度学习中常遇到的非凸优化问题重新表述为概率测度空间中的凸优化。我们通过 Wasserstein 梯度流的广义变分推理研究统一理论，这提供了各种看似不相关的方法（包括深度集成和（变分）贝叶斯方法）的不确定性量化，为深度集成算法的成功提供了一种全新视角，并且允许导出具有收敛保证的新集成方案。我们提出了一类具有与热力学中粒子系统相似交互的深度集成系统，并利用我们的理论证明了这些算法会收敛到概率测度空间中的一个明确定义的全局极小值。
bayesianvariational bayesianensemble methodsdeep learningprobability measures
发现论文，激发创造
  • 从贝叶斯角度看深度合奏

    深度集成是一种用于深度学习中不确定性量化的最新技术，本研究通过指定相关假设，证明了其可视为近似贝叶斯方法，该发现有助于改进估计并增大认识不确定性，数值实验表明这种改进有助于提高鲁棒性，同时可以通过分析导出方便计算的结果。

    May, 2021

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 随机集成的贝叶斯后验近似

    本文介绍了一种基于 Monte Carlo dropout、DropConnect 和一种新的非参数 dropout 的随机神经网络集成方法，通过变分推断将随机集合形式化为分布族，并训练以近似贝叶斯后验，我们在玩具问题和 CIFAR 图像分类上进行评估，结果表明随机集成相对于贝叶斯推断的其他流行基线提供了更准确的后验估计。

    Dec, 2022

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • 关于斯坦变分神经网络集成

    本研究研究了使用不同的 Stein 变分梯度下降方法来解决深度神经网络的 Bayesian 框架的问题，通过改善功能多样性和不确定性估计，逼近真实的 Bayesian 后验，并展示使用随机 SVGD 更新可以进一步改善性能。

    Jun, 2021

  • 贝叶斯与 PAC-Bayesian 深度神经网络集成

    贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络，从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络，深度集合可以受益于误差抵消效应，提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合增加泛化性能，因为它们无法实现误差抵消效应。相反，通过优化 PAC-Bayesian 泛化约束得到模型的加权平均值可以提高泛化性能。这种加权方法需要考虑模型之间的相关性，可以通过最小化串级损失来实现。PAC-Bayesian 加权方法增强了对相关模型和性能较低模型的稳健性，因此我们可以安全地添加来自同一学习过程的多个模型到集合中，而不是使用早停法选择单一的权重配置。本研究在四个不同的分类数据集上给出了实证结果，表明尽管计算代价较高，但来自文献中的最先进的贝叶斯集合并没有改进普通权重的深度集合，并且无法与通过优化串级损失的深度集合相匹配，后者还具有非空泛化保证。

    Jun, 2024

  • 深度生成语言模型的有效估计

    本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题，介绍了多种解决方案和模型扩展，并通过贝叶斯优化系统性比较了这些方法的效果和差异，同时提供了一些实践建议。

    Apr, 2019

  • 变分自编码深度高斯过程

    通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

    Nov, 2015

  • 神经网络的不确定性：近似贝叶斯集成

    该论文介绍了一种基于贝叶斯原理的神经网络反演方法，利用对先验分布采样的数据正则化参数，从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析，该方法相对于传统的平均集成技术具有更好的性能表现。

    Oct, 2018

  • 贝叶斯深度学习与概率泛化的视角

    使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。

    Feb, 2020