Jun, 2019

最大均值差异梯度流

PDF
TL;DR本文构建了最大均值差异（MMD）的 Wasserstein 梯度流并研究了其收敛性质，提出了一个基于梯度注入噪声的方法进行正则化，并给出了其理论和实证证据。该流的实现很简单，因为 MMD 及其梯度均具有简单的封闭形式表达式，可通过样本轻松估计。
wasserstein gradient flowmaximum mean discrepancy (mmd)reproducing kernel hilbert space (rkhs)particle transportnoise injection
发现论文，激发创造
  • 无对抗训练的深度最大均值差梯度流

    我们提出了一种梯度流程用于生成建模，通过将粒子从初始源分布传输到目标分布，其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散 - MMD - 梯度流或 DMMD。该方法不需要对抗性训练，而与生成对抗网络 (GAN) 中的判别器训练相关。我们在 CIFAR10、MNIST、CELEB-A (64 x64) 和 LSUN Church (64 x 64) 的无条件图像生成中获得了具有竞争力的实证性能，并在 MMD 被 KL 散度的下界替代时证明了该方法的有效性。

    May, 2024

  • 再生核希尔伯特空间中 f - 散度的 Moreau 衬度的 Wasserstein 梯度流

    使用核均值嵌入展示了正则化可以重写为某个与核 K 相关的再生核希尔伯特空间中函数的莫罗包络，并利用相关结果证明了 MMD - 正则化的 f - 散度及其梯度的性质，进而分析了以 MMD - 正则化的 f - 散度为基础的 Wasserstein 梯度流现象，并提供了 Tsallis-α 散度的概念验证数值例子。

    Feb, 2024

  • 基于负距离内核的 MMD 梯度流后验抽样

    我们提出了条件流的最大均值差最大均值差与负距离核用于后验采样和条件生成模型。

    Oct, 2023

  • 利用最大均值差异测量弱收敛性

    本文证明了当核函数满足积分严格正定时，基于最大平均差距的测度可度量概率测度的弱收敛性，并且纠正了先前结果的错误。

    Jun, 2020

  • 具有 Riesz 核的生成式切片最大均值差流

    本文介绍使用 Riesz 核函数可以解决 Maximum mean discrepancy (MMD) 流在大规模计算过程中的高计算成本问题，以及使用神经网络逼近 MMD 梯度流来训练生成模型的效率。

    May, 2023

  • 基于最大均值差异（MMD）统计量的集中不等式及其在生成模型中的应用

    我们提出了一种均匀集中不等式，用于一类基于最大均值差异（MMD）的估计器的理论分析，特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导

    May, 2024

  • 最大均值差异下的生成模型统计推断

    本文介绍了一种基于最小距离估计的统计模型，即对于可能性不易计算的生成模型，通过指定核函数，作为一个度量距离的最大均值差异（MMD）可以用来进行最小距离估计，同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。

    Jun, 2019

  • 最大均值差异遇见神经网络：Radon-Kolmogorov-Smirnov 检验

    通过最大均匀差异（MMD）测试及相关的理论及实验证明了 Radon-Kolmogorov-Smirnov（RKS）测试是一种能够以多个维度和较高平滑性阶数为基础的、具有全功率的测试方法，与神经网络密切相关。

    Sep, 2023

  • 解密 MMD GANs

    通过使用最大均值差异（MMD）作为批判家来研究生成对抗网络的训练和性能，我们澄清了最近的工作中提出的 GAN 损失函数中的偏差问题，并讨论了 MMD 批判家的内核选择问题，提出了改进的 GAN 收敛度量，核启动距离，并展示如何在 GAN 训练期间使用它动态调整学习速率。

    Jan, 2018

  • 通过最大均值差异优化训练生成神经网络

    通过最大均值差异的无偏估计作为双样本检验统计量，将深度神经网络视为生成器网络，将学习过程看做最小化二元检验统计量，通过实证比较及理论边界分析，探究了生成对抗网络框架及无参数核双样本检验框架的异同。

    May, 2015