本文构建了最大均值差异(MMD)的 Wasserstein 梯度流并研究了其收敛性质,提出了一个基于梯度注入噪声的方法进行正则化,并给出了其理论和实证证据。该流的实现很简单,因为 MMD 及其梯度均具有简单的封闭形式表达式,可通过样本轻松估计。
Jun, 2019
本文介绍了一种基于最小距离估计的统计模型,即对于可能性不易计算的生成模型,通过指定核函数,作为一个度量距离的最大均值差异(MMD)可以用来进行最小距离估计,同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。
我们提出了一种均匀集中不等式,用于一类基于最大均值差异(MMD)的估计器的理论分析,特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导
May, 2024
使用核均值嵌入展示了正则化可以重写为某个与核 K 相关的再生核希尔伯特空间中函数的莫罗包络,并利用相关结果证明了 MMD - 正则化的 f - 散度及其梯度的性质,进而分析了以 MMD - 正则化的 f - 散度为基础的 Wasserstein 梯度流现象,并提供了 Tsallis-α 散度的概念验证数值例子。
Feb, 2024
通过最大均匀差异(MMD)测试及相关的理论及实验证明了 Radon-Kolmogorov-Smirnov(RKS)测试是一种能够以多个维度和较高平滑性阶数为基础的、具有全功率的测试方法,与神经网络密切相关。
Sep, 2023
在机器学习应用中,非参数的两样本检验方法,如最大均值差异(MMD),通常用于检测两个分布之间的差异。然而,现有文献的大部分假设可以获得两个目标分布的无误差样本。我们放松了这个假设,研究了在 ε 污染下对 MMD 的估计,其中可能存在一个非随机的 ε 比例将一个分布错误地分组到另一个分布中。我们展示了在 ε 污染下,典型的 MMD 估计是不可靠的。相反,我们研究了 MMD 的部分识别,并描述了包含真实未知 MMD 的锐利上下界。我们提出了一种估计这些界的方法,并证明随着样本量的增加,它给出了收敛速度比其他方法更快的对 MMD 最尖锐的界估计。通过使用三个数据集,我们经验证明我们的方法优于其他替代方法:它给出了低错误覆盖率的紧致界。
Aug, 2023
本文研究张量积核的不同特性,解决了最大平均偏差与 Hilbert-Schmidt 独立性标准何时刻画随机变量差异与独立性、何时判别概率分布的问题。
Aug, 2017
本研究提供了一个统一的框架,将统计学文献中的能量距离和距离协方差与机器学习中的最大均值差(MMD)联系起来,并研究了这些统计量在一些概率分布下的可靠性和对多参数数据的适用性。
Jul, 2012
本文研究 Sinkhorn 差异,一种几何差异的系列,介于 MMD 和 OT 之间,提供了这些差异的理论保证和实际应用的数值方案。
Oct, 2018
本研究基于 Reproducing Kernel 和 Stein method 提出了一种新型的无偏采样方法,通过比较概率分布的差异来衡量采样结果的表现,并在一些目标分布中证明其收敛性和优越性。
Mar, 2017