Locking and Quacking: 通过对数池化和叠加堆叠贝叶斯模型预测
我们提出了一种基于预测分布的 Stacking 方法,利用 Pareto-smooth 重要性采样计算所需的单次观察后验分布和正则化以获得更好的稳定性,比较结果表明我们的方法在计算成本可接受的情况下优于其它方法。
Apr, 2017
使用可证明的渐近保证,我们提出了一种通用的堆叠方法,能够结合多个后验近似,融合密度、模拟抽样、置信区间和矩,同时解决整体精度、校准、覆盖率和偏差的问题。我们通过几个基准模拟和具有挑战性的宇宙学推断任务来说明我们的方法。
Oct, 2023
本文介绍了应用于科学和工程领域的模型,利用贝叶斯范式和高斯过程生成概率密度函数(pdfs),通过蒙特卡洛抽样来集成这些 pdfs,并通过线性和对数线性汇集方法介绍了对预测 pdfs 的输入相关权重的确定方法,使用合成数据集验证了这些方法的性能。
Mar, 2024
本文提出了一种隐含贝叶斯融合的方法,该方法是通过一个对数似然池框架下的个体层面和群体层面模型的分布平均来实现的,本文将其应用于电能分解中并证明该方法可以比单一的广义矩匹配方法具有更高的预测准确度。
Oct, 2015
该研究论文介绍了 BayesBlend Python 软件包,它提供了一个用户友好的编程接口,用于估计权重并混合多个(贝叶斯)模型的预测分布。通过保龄球模型均衡、堆叠和独特的层次贝叶斯堆叠,BayesBlend 演示了保险损失建模的实例。
Apr, 2024
本文介绍了一种基于高斯混合模型后验的预测方法,通过对独立训练的深度神经网络的拉普拉斯近似加权求和,可以缓解深度神经网络对离群值的过于自信预测问题,并在标准不确定性量化基准测试中与最先进的基准进行了比较。
Nov, 2021
贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络,从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络,深度集合可以受益于误差抵消效应,提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合增加泛化性能,因为它们无法实现误差抵消效应。相反,通过优化 PAC-Bayesian 泛化约束得到模型的加权平均值可以提高泛化性能。这种加权方法需要考虑模型之间的相关性,可以通过最小化串级损失来实现。PAC-Bayesian 加权方法增强了对相关模型和性能较低模型的稳健性,因此我们可以安全地添加来自同一学习过程的多个模型到集合中,而不是使用早停法选择单一的权重配置。本研究在四个不同的分类数据集上给出了实证结果,表明尽管计算代价较高,但来自文献中的最先进的贝叶斯集合并没有改进普通权重的深度集合,并且无法与通过优化串级损失的深度集合相匹配,后者还具有非空泛化保证。
Jun, 2024
本研究探索元学习领域,结合点预测与概率短期电力需求预测,在量位线性回归、量位回归森林以及涉及残差模拟的后处理技术的基础上生成量位预测。另外,我们引入了全局和局部元学习的变种。在局部学习模式中,元模型使用最接近查询模式的模式进行训练。通过在 35 个预测场景上进行广泛的实验研究,并使用 16 个基本预测模型,我们的研究结果突显了量位回归森林在其竞争对手中的优势。
Jun, 2024
该研究提出了一种用于概率模型推断的新型采样框架:一种主动学习方法,可比马尔可夫链蒙特卡罗(MCMC)基准更快地收敛(墙钟时间)。我们提出了一种基于模型的解决方案,通过熟知非负的概率集成(似然)来实现,以实现优化样本位置的廉价主动学习方案。实验结果表明,与简单的蒙特卡洛和退火重要性采样相比,我们的算法在合成和真实世界的示例中提供了更快的收敛速度(以秒为单位)。
Nov, 2014