切片 Stein 差异的活跃切片
提出了基于切片的 Stein discrepancy 和其可扩展和带核变体,这些变体采用基于核的测试函数,定义在最佳一维投影上,用于拟合优度检验和模型学习。在高维度下的拟合优度检验以及基于不同差异训练独立分量分析模型的结果表明,所提出的差异在性能上明显优于 KSD 和其他基准。此外,进一步提出了一种名为 sliced Stein 变分梯度下降(S-SVGD)的粒子推断方法,该方法可以缓解 SVGD 在训练变分自动编码器时的模式塌陷问题。
Jun, 2020
本文提出了一种基于任务特定决策边界和 Wasserstein 度量的领域自适应的特征分布对齐方法,即切片 Wasserstein 差异。实验表明该方法在数字和标志识别、图像分类、语义分割和目标检测上都具有有效性和普适性。
Mar, 2019
本文提出了一种新的差异度量统计量,该统计量基于 Stein 的恒等式和再生核希尔伯特空间理论相结合。我们将其应用于测试概率模型与观测值的拟合程度,并派生了一类新的强大的适用于复杂和高维分布的拟合优度检验,即使对于具有计算难度的常数归一化分布亦如此。我们全面研究了方法的理论和实证特性。
Feb, 2016
本文提出了一种统一的视角来描述和设计基于最小 Stein 距离的估计器,并使用这种方法来设计新的扩散核 Stein 距离(DKSD)和扩散分数匹配(DSM)估计器,证明了它们的一致性、渐近正常性和鲁棒性,并为它们的高效优化推导了随机黎曼梯度下降算法。该方法的主要优势在于其灵活性,使我们能够通过仔细选择 Stein 距离来为特定的模型设计具有理想性质的估计器,并在一些具有挑战性的问题上进行了演示,例如光滑、重尾或轻尾密度的分数匹配。
Jun, 2019
本文介绍了一种新的视角,旨在通过切片 Wasserstein 距离和核方法提供一系列正定核,并展示了这些核在机器学习中的不同任务中带来的益处,从而为优化传输距离在机器学习中的应用提供了新的可能。
Nov, 2015
提出了一种新的质量度量方法 - 特征 Stein 差异度量(PhiSD),可通过重要抽样方法进行便宜的近线性逼近,适用于近似后验推断和适配度检验。在实验证明,在速度方面比平方时间差异度量 (KSD) 更快,可在计算中进行价值代替。
Jun, 2018
通过在大规模场景中应用 Nyström-based KSD 加速方法,本研究提出了一种基于核方法的新的好拟合测试方法,并在一系列基准测试中展示了其适用性。
Jun, 2024
该论文介绍了一种新的方法,使用少量参数化正交投影来近似分解高维分布的一维边际分布,以便于在生成式框架中实现深度学习。研究表明,该方法在标准图像综合基准和高分辨率图像和视频生成方面表现出优越性和最先进性。
Apr, 2019
本研究介绍了基于深度学习的一种小批量近似方法,用于在自动编码器和生成式对抗网络等现代生成模型中实现切片 Wasserstein 距离,以便在无监督情况下实现高分辨率图像和视频的生成,表现为当代最佳水平。
Jun, 2017