机器学习与贝叶斯计算的未来
引入了一种贝叶斯机器科学家,它使用对模型的后验分布的明确逼近来确定模型的合理性,并通过从数学表达式的大量经验语料库中进行学习来确定模型的先验期望。该方法可以自动从数据中提取精确的模型,并且在合成数据和真实数据上提供比现有方法和其他非参数方法更准确的外样本预测。
Apr, 2020
通过引入易于扩展的 PyTorch 库 posteriors,我们在理论上具有吸引力的贝叶斯学习与现代机器学习模型的计算挑战得以克服,从而使得贝叶斯学习在大规模数据和参数范围下变得可访问且可扩展;通过在 posteriors 实现中引入一种温度设定的随机梯度马尔可夫链蒙特卡洛方法,平稳过渡到优化,并揭示了深度集成的一种次要修改,以确保它们对贝叶斯后验具有渐进无偏性;通过包括对冷后验效应的研究和对大型语言模型的应用实验来展示和比较贝叶斯近似的实用性。
May, 2024
本研究提出了一种基于贝叶斯模型校准的方法,通过统计公式将计算模型的输出与物理测量结果结合,从而进行推理,并估算了原子核的质量参数。
Jul, 2014
该研究论文探讨了在面对包含海量数据集和需要超级计算机执行的模拟时,如何利用数据与模型之间的固有统计学特性来提高学习和推理的效率,并提出了相应的基于随机梯度的算法来检测概率、提高 MCMC 的更新效率和决定参数更新的接受或拒绝,同时探讨了在大数据和大模拟时代中 Bayesian 方法所面临的一些计算方面的挑战。
Feb, 2014
本文介绍了如何通过编程实现 MCMC 方法以进行参数估计和不确定性量化,并探讨了在机器学习和深度学习等大规模模型中应用 MCMC 方法的挑战,主要通过使用 Python 语言示例代码实现贝叶斯概率模型的应用。
Apr, 2023
本文综述了大数据时代的机器学习中贝叶斯方法的最新进展,其中包括调整模型复杂度的非参数贝叶斯方法、通过后验正则化提高灵活性的正则贝叶斯推断,以及基于随机子采样和分布式计算的可扩展算法和系统。
Nov, 2014
本文研究贝叶斯神经网络中后验概率的真实性及精度,通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法,并提出了一种 “冷后验” 的新方法,解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标,提出从理解和探究 “冷后验” 方法优化神经网络性能入手。
Feb, 2020
本文介绍了一种用于解决常用机器学习算法的贝叶斯推断问题的新方法,证明了通过构建一个 martingale 后验分布,可以恢复由任务分布定义的贝叶斯后验。同时提出了一种适用于通用机器学习算法的实用不确定性量化方法,实验证明了该方法的有效性。
Mar, 2024