Apr, 2024

去偏分布压缩

PDF
TL;DR现代压缩方法可以比独立同分布采样更简洁地概括目标分布 P，但需要访问低偏差输入序列，例如迅速收敛到 P 的马尔可夫链。我们介绍了一套适用于带偏差输入序列压缩的新型压缩方法。在给定 n 个针对错误分布的点和二次时间的情况下，Stein Kernel Thinning (SKT) 返回具有对 P 的最大平均误差 (MMD) 为 O (n^{-1/2}) 的√n 个等权重点。对于更大规模的压缩任务，Low-rank SKT 使用自适应的低秩去偏过程以次二次时间实现相同的效果，该过程可能是独立感兴趣的。对于支持单纯或保持常量权重的下游任务，Stein Recombination 和 Stein Cholesky 具有更大的简洁性，可以与最少的 poly-log (n) 个加权点的 SKT 保证相匹配。这些进展的基础是关于单纯加权负样本集的新保证，核矩阵的谱衰减和 Stein 核希尔伯特空间的覆盖数。在我们的实验中，我们的技术提供了简洁准确的后验总结，同时克服了因预烧、近似马尔可夫链蒙特卡罗和淬火而产生的偏差。
发现论文，激发创造
  • 广义核稀疏化

    本文提出了四种改进方法，包括将 Kernel Thinning 直接应用于目标 Reproducing Kernel Hilbert Space 以获得更紧密的无维度保证，使用分数功率核对于不平滑的核可以获得优于蒙特卡罗的保证，并且将 KT 应用于目标和功率核的总和可以同时继承两种方法的保证，在多维度和压缩挑战性微分方程后验的情况下，可以显着减少集成误差。

    Oct, 2021

  • 核细化

    我们介绍了核稀疏化，是一种比独立同分布抽样或标准稀疏化更有效地压缩分布 P 的过程。核稀疏化使用合适的再生核 k 和 O (n^2) 个时间，将 n 个点的 P 的近似压缩成具有相当最坏情况积分误差的平方根 n 个点的近似。我们的亚指数担保类似于统一 P 关于 [0,1]^d 的经典拟蒙特卡洛误差率，但适用于 P 在 R^d 上的一般分布和广泛的常见内核。

    May, 2021

  • 近线性时间内的分布压缩

    介绍了一种用于加速薄算法的元措施 Compress++，其可在更短的时间内达到与输入算法几乎相当的精度。

    Nov, 2021

  • 用核函数衡量样本质量

    本研究基于 Reproducing Kernel 和 Stein method 提出了一种新型的无偏采样方法，通过比较概率分布的差异来衡量采样结果的表现，并在一些目标分布中证明其收敛性和优越性。

    Mar, 2017

  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014

  • 后验修正抽样的再生 Stein 核方法

    该论文通过对马尔可夫链的模拟实现的采样数据的加权经验分布来修正近似抽样算法的输出，从而为相关领域的目标分布提供一致的估计量，并建立了一种普遍的再现 Stein Kernel 理论，适用于一般的 Polish 空间。

    Jan, 2020

  • 截断密度估计的近似斯坦类

    本文提出了基于近似 Stein 类的方法以及使用截断内核 Stein 差异度量（TKSD）的拉格朗日可对偶方法，用于解决截断密度估计问题，实验表明该方法的准确性提高了。

    Jun, 2023

  • 切片核化斯坦差异度

    提出了基于切片的 Stein discrepancy 和其可扩展和带核变体，这些变体采用基于核的测试函数，定义在最佳一维投影上，用于拟合优度检验和模型学习。在高维度下的拟合优度检验以及基于不同差异训练独立分量分析模型的结果表明，所提出的差异在性能上明显优于 KSD 和其他基准。此外，进一步提出了一种名为 sliced Stein 变分梯度下降（S-SVGD）的粒子推断方法，该方法可以缓解 SVGD 在训练变分自动编码器时的模式塌陷问题。

    Jun, 2020

  • 利用斯坦效应的数据驱动随机傅里叶特征

    本文提出了一种基于 Stein 效应的新型收缩估计器，用于随机特征的数据驱动加权策略，可以在核逼近和监督学习任务中提供更好的性能。

    May, 2017

  • 核完备条件化斯坦差异

    介绍了基于 Stein 方法和核函数的新方法 KCC-SDs，可以用于区分分布，并通过 KCC-SDs 进行适配度检验和样本质量评估。

    Apr, 2019