安全贝叶斯广义线性回归
展示了贝叶斯边际似然和频率PAC-Bayesian风险边界之间的联系；在最小化PAC-Bayesian广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的PAC-Bayesian定理，并在贝叶斯线性回归任务中表明其方法的有效性。
May, 2016
提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。
Apr, 2019
LR-GLM method based on low-rank approximation with Bayesian inference is proposed to improve efficiency of generalized linear models with large number of covariates, and the experiment results validate the effectiveness of LR-GLM on large-scale datasets.
May, 2019
本研究提出了一种多样本损失方法用以改进贝叶斯后验预测分布的泛化性能，该方法不仅具有计算优势还提供了 PAC 泛化保证，实证研究显示该方法可以有效改善预测分布。
Oct, 2020
通过PAC-Bayes泛化界限的视角研究了冷后效应，发现在非渐进情况下，当训练样本数量相对较少时，应该考虑到近似贝叶斯推断对超样本数据性能的保证，并指出对于回归和分类任务，利用PAC-Bayes解释温度参数可以解释冷后效应。
Jun, 2022
我们介绍了一系列迭代方法，用于计算大规模Bayesian广义线性模型（GLMs）中的近似误差，并通过并行计算、信息压缩来提高训练速度并减少计算量。
Oct, 2023
在模型错配方面，贝叶斯后验经常无法正确量化真实参数或伪真参数的不确定性，并导致模型在独立数据集上产生矛盾的后验分布。为了定义在模型错配中可复现的不确定性量化准则，我们考虑从独立数据集构建的两个置信区间的重叠概率，并建立了适用于任何有效置信区间的重叠概率下界。我们证明了标准后验的可信区间往往会严重违反这个下界，尤其在高维环境中（即维度随样本大小增加）表现出不内聚性。为了提高易使用性和普适性，并改善可复现性，我们提出将bagging方法应用于贝叶斯后验（“BayesBag”'），即使用基于自助样本构建的后验分布的平均值。我们基于第一原则从Jeffrey条件化的角度推导了BayesBag，并证明了袋装后验通常满足重叠下界。此外，我们证明了袋装后验的Bernstein-Von Mises定理，确定了其渐进正态分布。我们通过模拟实验和犯罪率预测应用展示了BayesBag的优势。
Nov, 2023
前向论合理化了模型的泛化错误上界，为学习提供了健壮的PAC-Bayes边界。然而，已知损失的最小化会忽略错误规范化，在此情况下模型无法完全复现观测结果。我们分析了近确定、错误规范化和欠参数化替代模型的泛化错误，这是科学和工程中广泛相关的一种情况。我们证明了后验分布必须覆盖每个训练点以避免泛化错误的发散，并导出了一种满足此约束条件的集合假设，对线性模型而言额外开销最小。这种高效方法在模型问题上得到了证明，并应用于原子尺度机器学习中的高维数据集，由错误规范化导致的参数不确定性在欠参数化极限中仍然存在，从而可以准确预测和限定测试误差的上限。
Feb, 2024
Bayesian深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将Bayesian不一致性归因于模型规范不当和先验不足，提出了广义Laplace近似方法来获得高质量的后验分布。
May, 2024
研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。
Jun, 2024