高维贝叶斯变量选择的计算复杂度
本研究旨在提高在处理大数据集时的贝叶斯后验MCMC采样的效率,通过引入基于连续假设检验的近似MH规则,根据部分数据即可高置信度地接受或拒绝样本,从而减少计算代价,同时控制引入的渐近偏差使方差下降得以更快。
Apr, 2013
提出一种用于贝叶斯优化的算法,优化对象为求和或积分形式、具有难以评估的函数,适用于机器学习超参数调优、模拟优化、随机实验设计等领域,该方法在单次函数评估处于预算内时具有平均情况最优性,通过解决信息价值优化问题达到了一步最优性,同时也在数值实验中表现优良。
Mar, 2018
该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型,通过将核表示成一个随机变量,并利用其先验和后验信念来学习其不确定性,进而避免避免过度自信,通过随机梯度上升的方法来迭代地最大化变分下界以提高精度,该方法适用于大规模数据集。
Dec, 2019
研究变分贝叶斯对于稀疏高维逻辑回归中广泛使用的贝叶斯模型选择先验的均场尖峰和板VB近似,该方法可以在L2和预测损失方面为稀疏的实际结果提供最佳收敛速率,并给出了有效的先验选择方法。
Oct, 2020
Scalable Spike-and-Slab is proposed as a Gibbs sampling implementation for high-dimensional Bayesian regression with a continuous spike-and-slab prior, resulting in significant computational efficiency improvements over existing implementations.
Apr, 2022
通过计算关键批次的接受概率,我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法,研究了链的稳定分布的统计性质,并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率,分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子,我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。
Oct, 2023
本研究解决了传统吉布斯抽样在随机扫描中选择变量均匀性的问题。提出了一种非均匀选择的随机扫描吉布斯抽样方法,并通过约束优化构建选择概率的解析解。这种改进显著提高了马尔可夫链的混合时间,并在实际应用中验证了其有效性。
Aug, 2024
本研究解决了在高维环境中分位数回归面临的挑战,尤其是当协变量数量超过样本量时。提出了一种新颖的伪贝叶斯框架,结合缩放的学生-t先验和Langevin蒙特卡洛方法,有效地进行高维分位数预测。研究表明,该方法在非渐近优化预测误差和适应未知稀疏性方面具有较强的理论保证,并在模拟和实际数据中表现出竞争力。
Sep, 2024