通过希尔伯特核心集实现自动可扩展的贝叶斯推断
本研究提出了一种基于稀疏约束变分推断视角的 Riemannian coresets 构建算法,与过去的方法相比,该算法不需要一个合理的后验近似。实验结果表明,提出的算法能够不断改善 coreset,大大减小 KL 散度,从而提供最先进的 Bayesian 数据集概括。
Jun, 2019
Bayesian coresets can speed up posterior inference by approximating the full-data log-likelihood function with a surrogate log-likelihood based on a small, weighted subset of the data. This paper provides general upper and lower bounds on the Kullback-Leibler divergence of coreset approximations, applicable in a wide range of models, and demonstrates the theory's flexibility in validation experiments involving multimodal, unidentifiable, heavy-tailed Bayesian posterior distributions.
May, 2024
本文介绍了一种新的方法 —— 稀疏哈密顿流,它可以提高贝叶斯核心集合的构建效率,通过代替数据集来减少计算成本,同时在构建后不需要进行次要的推断,并提供与数据边缘证据的界限。理论结果显示,该方法在典型模型中使数据集压缩呈指数级,而准周期动量可以使 KL 散度降至目标;而实验结果表明,与竞争的基于动力系统的推断方法相比,稀疏哈密顿流提供了准确的后验近似并显著减少了运行时间。
Mar, 2022
该文章提出利用 coresets 的方法来对高斯混合模型进行计算,这种方法可以在保证训练精度的情况下减少数据量从而加快计算速度,经验结果表明,该方法可以显著减少训练时间而近似误差可以忽略不计。
Mar, 2017
该研究通过对 coresets 的研究,建立了一个统计框架,分析了非参数密度估计等任务的最小最大估计率,并表明实际 coreset 核密度估计器在很大程度上是接近最小最大优化的。
Nov, 2020
通过在函数空间上构造变分逼近,我们的方法能够在构建贝叶斯伪核心集并将其与完整数据后验匹配时绕过几个可能出现的挑战,包括可扩展性有限和多模态问题。通过各种实验证明,我们方法构建的贝叶斯伪核心集在各种模型架构下具有增强的不确定度量化能力和更好的稳健性。
Oct, 2023
提出了一种自动实用的框架,用于构建 coreset,该框架不需要进行其他任务相关计算,只需要用户提供输入数据和所需的成本函数,通过将损失函数的近似问题简化为矢量和近似的实例,从而将构建 coreset 的问题转化为矢量和近似的问题。同时,还提供了易于使用的系统,可以从而广泛地应用 coreset 于许多问题上
May, 2023
该文章提出了一种稳健的 coreset 构建算法,在中心化和分布式框架下生成符合一定理论条件的 coreset,以支持各类机器学习问题的高效求解。实验证明该算法具有较强的健壮性。
Apr, 2019
本文研究 coresets 和机器学习领域中的最新进展,提出了一种理论上可行的框架来创建分类问题的 coresets,应用到了 $k$-means 聚类问题,同时总结了当前在 MLE 混合模型、贝叶斯非参数模型、主成分分析、回归和经验风险最小化等领域中已有的 coreset 构建算法。
Mar, 2017