Mar, 2012

核心引导下的超采样

PDF
TL;DR本文将 herding 算法扩展到连续空间，并使用 kernel 技巧，生成了一种无限内存的确定性过程 - ‘kernel herding’算法，该方法通过样本集合学习来逼近 PDF。我们通过减少期望误差来说明了 kernel herding 在 Hilbert 空间中函数的收敛速率比 iid 随机样本的 O (1/pT) 快得多，而是 O (1/T)。此外，我们通过逼近贝叶斯预测分布来说明了 kernel herding 算法的应用。
发现论文，激发创造
  • 基于核方法的 Monte Carlo 与 Gibbs 测度：概率采样的保证

    核心聚类属于一族确定性定积分方法之一，旨在通过最小化再生核希尔伯特空间（RKHS）上的最坏情况积分误差来实现。本文研究了一种关于定积分节点的联合概率分布，其支撑集趋向于最小化与核心聚类相同的最坏情况误差。我们证明其在最坏情况积分误差的集中不等式方面优于独立同分布的蒙特卡洛方法。虽然尚未改进速率，但这表明吉布斯测度研究的数学工具有助于理解核心聚类及其变体在计算便宜方法上的改进程度。此外，我们提供了早期的实验证据，表明收敛速度更快（虽然不是最坏情况），这很可能实现。

    Feb, 2024

  • 最优加权聚群是贝叶斯积分

    本文研究了采样方法和贝叶斯积分估计在选取样本时的损失函数关系，进而证明了带权的 kernel herding 是所有带权采样方法中最优的方法，同时也得出了贝叶斯积分估计的经验误差上界。

    Aug, 2014

  • 关于压群算法和条件梯度算法之间的等价性

    本文研究了 Welling（2009）的聚集过程，发现其采用标准的凸优化算法，即条件渐近算法，通过最小化二次矩差异。通过数值模拟研究了不同变体的行为。结果表明，虽然我们可以在近似积分的任务上对 herding 进行改进，但原始的 herding 算法更倾向于接近最大熵分布，揭示了 herding 背后的学习偏差。

    Mar, 2012

  • 聚合吉布斯采样

    介绍了一种确定性算法 herded Gibbs，特别适用于独立变量模型和完全连接概率图模型。实验证明 herded Gibbs 在图像去噪任务和命名实体识别任务中优于 Gibbs。

    Jan, 2013

  • 核细化

    我们介绍了核稀疏化，是一种比独立同分布抽样或标准稀疏化更有效地压缩分布 P 的过程。核稀疏化使用合适的再生核 k 和 O (n^2) 个时间，将 n 个点的 P 的近似压缩成具有相当最坏情况积分误差的平方根 n 个点的近似。我们的亚指数担保类似于统一 P 关于 [0,1]^d 的经典拟蒙特卡洛误差率，但适用于 P 在 R^d 上的一般分布和广泛的常见内核。

    May, 2021

  • 通过非参数散度估计在样本集上的核函数

    该论文提出了一种基于核函数的机器学习算法，可以通过对数据集的分组进行处理，采用独立同分布的样本集作为数据点，利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。

    Feb, 2012

  • 论 Stein 变分梯度下降的几何形式

    本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

    Dec, 2019

  • 分布的两阶段样本学习理论

    该研究提出了一种简单有效的方法，将概率分布嵌入再应用岭回归 算法来解决分布回归问题，同时证明该方法的稳定性和收敛速度，回答了 15 年来未解决的开放性问题，并涵盖了一系列相关的概率分布问题。

    Feb, 2014

  • 序列核选样：Frank-Wolfe 优化用于粒子滤波

    本文探讨了将 Frank-Wolfe 优化算法用于代替基于随机采样的粒子滤波的采样步骤，从而实现更好的精度计算，并在标准的综合类应用及机器人定位任务中获得了精度提升。

    Jan, 2015

  • 核均值嵌入分布：综述与发展

    该文介绍了一种基于希尔伯特空间嵌入的分布表征方法，该方法利用再生核希尔伯特空间将分布映射到一个空间中，并扩展了一般支持向量机和其他核方法的整个内核方法库，为概率测量、统计推断、因果发现和深度学习等领域提供了广泛应用，并讨论了该方法的理论保证，应用和未来的研究方向。

    May, 2016