May, 2024

贝叶斯核心集质量的一般界限

PDF
TL;DRBayesian coresets can speed up posterior inference by approximating the full-data log-likelihood function with a surrogate log-likelihood based on a small, weighted subset of the data. This paper provides general upper and lower bounds on the Kullback-Leibler divergence of coreset approximations, applicable in a wide range of models, and demonstrates the theory's flexibility in validation experiments involving multimodal, unidentifiable, heavy-tailed Bayesian posterior distributions.
bayesian coresetsposterior inferencelog-likelihood functionkl divergencesubexponentiality criterion
发现论文，激发创造
  • 可扩展贝叶斯逻辑回归的核心集

    本文提出了一种基于 Bayesian 方法的核心子集构造算法，可有效加速后验推断算法，适用于大规模数据集。该方法具有明显的理论保证和实际效果。

    May, 2016

  • 通过希尔伯特核心集实现自动可扩展的贝叶斯推断

    该研究利用数据冗余缩小数据集作为预处理步骤，通过 Bayesian coreset framework 建立 Hilbert coresets，即在对数似然函数空间的内积引导下构造的 Bayesian coreset，提供具有理论保证的全自动可伸缩的 Bayesian 推断，从而提高了推断的质量，降低了计算成本。

    Oct, 2017

  • 从头开始的稀疏变分推断：基于贝叶斯核心集

    本研究提出了一种基于稀疏约束变分推断视角的 Riemannian coresets 构建算法，与过去的方法相比，该算法不需要一个合理的后验近似。实验结果表明，提出的算法能够不断改善 coreset，大大减小 KL 散度，从而提供最先进的 Bayesian 数据集概括。

    Jun, 2019

  • 通过链接实现内核密度估计的更强核心集界限

    应用偏差方法和串联方法提供改进的核函数广泛类别 Coreset 复杂性的界限，并给出对于高斯核和拉普拉斯核，在数据集均匀有界的情况下，产生 O (√d/ε√loglog (1/ε)) 大小的 Coreset 的随机多项式时间算法，这是以前的技术所不可能的改进。此外，对于恒定的 d，我们得到 O (1/ε√loglog (1/ε)) 大小的拉普拉斯核的 Coreset。最后，我们给出了指数核、Hellinger 核和 JS 核 Coreset 复杂性的最佳已知界限，其中 1/α 是核的带宽参数。

    Oct, 2023

  • 用于硬和软 Bregman 聚类的强核心集及其在指数族混合模型中的应用

    提出了一种使用 Bregman 差异构建强核心集的单一实用算法，可用于广泛的硬聚类和软聚类问题，并演示了该算法的实用性。

    Aug, 2015

  • 通过贪心迭代测地线上升构建贝叶斯削减集

    该研究表明，先前的贝叶斯核心子集构建算法在估计后验不确定性时存在不足；因此，提出了一种新的贝叶斯核心子集构建算法 ——GIGA，其优化核心对数似然度以实现后验不确定性的准确估计并且同时保持较快的计算速度。最后在合成和实际数据集上验证了 GIGA 的有效性。

    Feb, 2018

  • 逻辑回归的核心集

    使用核心集理论应用于 logistic 回归模型的研究，提出一个统计学上解释直观的复杂度度量方法，并发展了一个新的灵敏度采样方案来处理 logistic 回归中的大量数据，并在真实世界的 logistic 回归基准数据上比较了其性能。

    May, 2018

  • 基于统计学视角的 Coreset 密度估计

    该研究通过对 coresets 的研究，建立了一个统计框架，分析了非参数密度估计等任务的最小最大估计率，并表明实际 coreset 核密度估计器在很大程度上是接近最小最大优化的。

    Nov, 2020

  • 分类学习的核心集 - 简化与加强

    给定一种数据矩阵和标签向量，我们使用基于 $l_1$ 拉索 (weight) 的数据子采样方法构建相对误差 Coresets，用于训练包括逻辑损失和铰链损失在内的一系列损失函数的线性分类器，其结果不仅在理论上得到了显著提高，而且在实践中表现优异，可用于主动学习并用于多种训练方案。

    Jun, 2021

  • 基于稀疏哈密顿流的贝叶斯推断

    本文介绍了一种新的方法 —— 稀疏哈密顿流，它可以提高贝叶斯核心集合的构建效率，通过代替数据集来减少计算成本，同时在构建后不需要进行次要的推断，并提供与数据边缘证据的界限。理论结果显示，该方法在典型模型中使数据集压缩呈指数级，而准周期动量可以使 KL 散度降至目标；而实验结果表明，与竞争的基于动力系统的推断方法相比，稀疏哈密顿流提供了准确的后验近似并显著减少了运行时间。

    Mar, 2022