广义核稀疏化
我们介绍了核稀疏化,是一种比独立同分布抽样或标准稀疏化更有效地压缩分布 P 的过程。核稀疏化使用合适的再生核 k 和 O (n^2) 个时间,将 n 个点的 P 的近似压缩成具有相当最坏情况积分误差的平方根 n 个点的近似。我们的亚指数担保类似于统一 P 关于 [0,1]^d 的经典拟蒙特卡洛误差率,但适用于 P 在 R^d 上的一般分布和广泛的常见内核。
May, 2021
现代压缩方法可以比独立同分布采样更简洁地概括目标分布 P,但需要访问低偏差输入序列,例如迅速收敛到 P 的马尔可夫链。我们介绍了一套适用于带偏差输入序列压缩的新型压缩方法。在给定 n 个针对错误分布的点和二次时间的情况下,Stein Kernel Thinning (SKT) 返回具有对 P 的最大平均误差 (MMD) 为 O (n^{-1/2}) 的√n 个等权重点。对于更大规模的压缩任务,Low-rank SKT 使用自适应的低秩去偏过程以次二次时间实现相同的效果,该过程可能是独立感兴趣的。对于支持单纯或保持常量权重的下游任务,Stein Recombination 和 Stein Cholesky 具有更大的简洁性,可以与最少的 poly-log (n) 个加权点的 SKT 保证相匹配。这些进展的基础是关于单纯加权负样本集的新保证,核矩阵的谱衰减和 Stein 核希尔伯特空间的覆盖数。在我们的实验中,我们的技术提供了简洁准确的后验总结,同时克服了因预烧、近似马尔可夫链蒙特卡罗和淬火而产生的偏差。
Apr, 2024
介绍了一种核自适应 Metropolis-Hastings 算法,用于从具有强非线性支持的目标分布中进行采样,该算法将马尔科夫链的轨迹嵌入到再生核希尔伯特空间(RKHS)中,使样本的特征空间协方差影响提案的选择。
Jul, 2013
本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法,并提出了一个计算算法,该算法可以用来在不需要生成全核矩阵的情况下,对特征向量矩阵进行采样,并在统计表现和运行时间方面提供了新的保证。
Nov, 2014
本文探讨了一种基于核的数值积分方法,向黑匣子函数提供单一的代替方法,同时证明该方法的有效性不受核空间假设的影响,只要函数的光滑度可以通过 RKHS 或 Sobolev 空间的幂次表示甚至在光滑度假设不成立的情况下也具有收敛性。
May, 2016
提出一种非参数密度估计算法,通过将传统的核密度估计器(KDE)与经典 $M$-estimation 的思想相结合,以及利用核化迭代加权最小二乘(IRWLS)算法对样本均值进行鲁棒性估计从而获得鲁棒 Kernel 密度估计器 (RKDE),并给出了它的相关理论性质和试验结果。
Jul, 2011
本研究基于 Reproducing Kernel 和 Stein method 提出了一种新型的无偏采样方法,通过比较概率分布的差异来衡量采样结果的表现,并在一些目标分布中证明其收敛性和优越性。
Mar, 2017
基于函数空间定义内核的最大均值差异(MMD)的非参数二样本检验程序,用于测试两个函数样本是否具有相同的潜在分布,建立在数据集维数增加情况下 MMD-based 测试效率的基础上。
Aug, 2020
通过在大规模场景中应用 Nyström-based KSD 加速方法,本研究提出了一种基于核方法的新的好拟合测试方法,并在一系列基准测试中展示了其适用性。
Jun, 2024