该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法,同时研究了使用数据相关先验分布的应用,包括针对无界方差的损失函数的一种新颖的边界推导方法。
Jun, 2020
本文基于生成模型的思想,采用 Bayesian learning 方法,探究形式逻辑及其数理统计特性,构建了一个统一的形式逻辑和统计推理理论。
Feb, 2022
本文介绍了一种用于解决常用机器学习算法的贝叶斯推断问题的新方法,证明了通过构建一个 martingale 后验分布,可以恢复由任务分布定义的贝叶斯后验。同时提出了一种适用于通用机器学习算法的实用不确定性量化方法,实验证明了该方法的有效性。
Mar, 2024
研究提出了一种贝叶斯多模型不确定性量化和传播方法,并调查了先验概率对结果不确定性的影响,结果表明先验概率在多模型不确定性上具有显著影响,尤其是在小数据集上。
Oct, 2017
本文提出了一种新的方法,基于 Wasserstein 距离的估计误差进行控制,然后通过广义 Fisher 距离限制 Wasserstein 距离。我们使用这种方法为 Laplace 近似和 Hilbert coresets 推导 Wasserstein 误差上限,并期望这种方法也适用于其他近似推理方法,例如综合 Laplace 近似、变分推理和近似贝叶斯计算。
Sep, 2018
本文讨论使用高斯 - 马尔科夫先验将常微分方程的数值解作为非线性贝叶斯推断问题来解决的方法,并针对一些高斯马尔科夫先验阐述了高斯估计器的分类方法,其中最大后验估计处于分类层次结构的顶部。
Apr, 2020
提出两种数据算法来获取适当的模型平均先验。
Dec, 2019
本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界,以及这种边界在估计均值时的集中不等式问题,对比了以往 KL 散度为基础的边界,并探讨了最佳 PAC-Bayes 边界速率的可能性。
Feb, 2024
该研究提出了一组高概率不等式,控制了多个(可能是无限多个)同时演化和相互依赖的鞅的加权平均值的集中度,从而将学习理论中的 PAC-Bayesian 分析从独立同分布的设定扩展到了鞅,开拓了其在重要性加权抽样、强化学习和其他交互式学习领域中的应用。其中,鞅是在概率论和统计学中经常遇到的。此外,文章还提出了一个比较不等式,用于限制鞅差分序列的一个凸函数的期望值。该不等式运用于得出更紧密版本的 Hoeffding-Azuma 不等式。
Oct, 2011
本文改进了 Power posterior 方法,提供了数值分析文献中的一种方法以减少计算误差,同时还应用于 Stepping Stone 采样器估计证据的倒数温度阶梯的选择。
Sep, 2012