Mar, 2012

关于压群算法和条件梯度算法之间的等价性

PDF
TL;DR本文研究了 Welling（2009）的聚集过程，发现其采用标准的凸优化算法，即条件渐近算法，通过最小化二次矩差异。通过数值模拟研究了不同变体的行为。结果表明，虽然我们可以在近似积分的任务上对 herding 进行改进，但原始的 herding 算法更倾向于接近最大熵分布，揭示了 herding 背后的学习偏差。
发现论文，激发创造
  • 最优加权聚群是贝叶斯积分

    本文研究了采样方法和贝叶斯积分估计在选取样本时的损失函数关系，进而证明了带权的 kernel herding 是所有带权采样方法中最优的方法，同时也得出了贝叶斯积分估计的经验误差上界。

    Aug, 2014

  • 核心引导下的超采样

    本文将 herding 算法扩展到连续空间，并使用 kernel 技巧，生成了一种无限内存的确定性过程 - ‘kernel herding’算法，该方法通过样本集合学习来逼近 PDF。我们通过减少期望误差来说明了 kernel herding 在 Hilbert 空间中函数的收敛速率比 iid 随机样本的 O (1/pT) 快得多，而是 O (1/T)。此外，我们通过逼近贝叶斯预测分布来说明了 kernel herding 算法的应用。

    Mar, 2012

  • 基于核方法的 Monte Carlo 与 Gibbs 测度：概率采样的保证

    核心聚类属于一族确定性定积分方法之一，旨在通过最小化再生核希尔伯特空间（RKHS）上的最坏情况积分误差来实现。本文研究了一种关于定积分节点的联合概率分布，其支撑集趋向于最小化与核心聚类相同的最坏情况误差。我们证明其在最坏情况积分误差的集中不等式方面优于独立同分布的蒙特卡洛方法。虽然尚未改进速率，但这表明吉布斯测度研究的数学工具有助于理解核心聚类及其变体在计算便宜方法上的改进程度。此外，我们提供了早期的实验证据，表明收敛速度更快（虽然不是最坏情况），这很可能实现。

    Feb, 2024

  • 聚合吉布斯采样

    介绍了一种确定性算法 herded Gibbs，特别适用于独立变量模型和完全连接概率图模型。实验证明 herded Gibbs 在图像去噪任务和命名实体识别任务中优于 Gibbs。

    Jan, 2013

  • 论 Stein 变分梯度下降的几何形式

    本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

    Dec, 2019

  • 竞争性梯度下降

    本文提出了一种用于计算竞争性双人游戏纳什均衡的新算法，该算法基于正则化双线性局部逼近的纳什均衡，避免了交替梯度下降中出现的振荡和发散，而且在达到指数级 (局部) 收敛性的同时，其收敛和稳定性的性质对于玩家之间的强交互是稳健的，具有更快的收敛速度。

    May, 2019

  • 基于动态权重的部分观测随机场模型聚合

    本文提出了一种基于复杂的、确定性算法的参数优化方法，称之为 'herding dynamics'，该方法在处理随机场模型上表现良好。

    May, 2012

  • SGD 和 Hogwild!：在无需有界梯度假设的情况下收敛

    该研究论文讨论了随机梯度下降算法的收敛性分析，提出了一种在异步并行环境下使用降低学习率机制的算法，并证明了其收敛性。

    Feb, 2018

  • 非正则化在线学习算法的收敛性

    本文研究了无正则化的 RKHS 在线梯度下降算法的收敛性和收敛速率条件，探讨了平均迭代和最后一次迭代的过度泛化误差和收敛速率，首次提出了无强凸性的 online gradient descent 的高概率收敛速率。

    Aug, 2017

  • 连续回溯梯度下降算法收敛至最小值

    证明在局部 Lipschitz 连续条件下的 $C^2$ 函数，给定一均值设定和一个阈值，存在一个光滑函数使得由其生成的下降序列不会收敛到虚假鞍点，并且其所有极限点都是函数的临界点。

    Nov, 2019