May, 2024

可扩展的贝叶斯学习与后验概率

PDF
TL;DR通过引入易于扩展的 PyTorch 库 posteriors，我们在理论上具有吸引力的贝叶斯学习与现代机器学习模型的计算挑战得以克服，从而使得贝叶斯学习在大规模数据和参数范围下变得可访问且可扩展；通过在 posteriors 实现中引入一种温度设定的随机梯度马尔可夫链蒙特卡洛方法，平稳过渡到优化，并揭示了深度集成的一种次要修改，以确保它们对贝叶斯后验具有渐进无偏性；通过包括对冷后验效应的研究和对大型语言模型的应用实验来展示和比较贝叶斯近似的实用性。
发现论文，激发创造
  • 机器学习与贝叶斯计算的未来

    概述：本文使用贝叶斯模型解决了复杂数据的建模问题，提出了通过机器学习的方法来改善后验计算的潜力，并探讨了正则化流、贝叶斯核平衡、分布式贝叶斯推理和变分推理等未来的具体发展方向。

    Apr, 2023

  • 深度神经网络中的贝叶斯后验到底有多好？

    本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种 “冷后验” 的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究 “冷后验” 方法优化神经网络性能入手。

    Feb, 2020

  • 一种贝叶斯机器科学家用于帮助解决复杂科学问题的方法

    引入了一种贝叶斯机器科学家，它使用对模型的后验分布的明确逼近来确定模型的合理性，并通过从数学表达式的大量经验语料库中进行学习来确定模型的先验期望。该方法可以自动从数据中提取精确的模型，并且在合成数据和真实数据上提供比现有方法和其他非参数方法更准确的外样本预测。

    Apr, 2020

  • 贝叶斯神经网络的后验分布是什么样子的？

    研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

    Apr, 2021

  • 贝叶斯方法在大型学习中的应用

    本文综述了大数据时代的机器学习中贝叶斯方法的最新进展，其中包括调整模型复杂度的非参数贝叶斯方法、通过后验正则化提高灵活性的正则贝叶斯推断，以及基于随机子采样和分布式计算的可扩展算法和系统。

    Nov, 2014

  • 使用后验自助法从多模式后验中进行可伸缩的非参数采样

    本文提出了一种可扩展的贝叶斯非参数学习方法，通过优化适当随机化的目标函数实现后验抽样，一个未知数据分布的狄利克雷过程先验考虑到了模型建立错误，并允许具有尴尬并行事后自举算法的非参数后验分布的独立和精确的样本生成，从而特别擅长从多峰后验分布中抽样。

    Feb, 2019

  • 面向通用、可扩展的贝叶斯教学框架及其在主题模型中的应用

    通过基于人类教学的伪边际抽样实现机器学习的普适性教学方法，成功地在主题模型上进行训练，并在电影简介数据中验证了该方法的优势。

    May, 2016

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 关于深度贝叶斯神经网络后验的局部自适应可扩展扩散采样方法的收敛性

    深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

    Mar, 2024

  • 深度神经网络中冷后验的统计理论

    本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述 “筛选” 过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。

    Aug, 2020