NIPSNov, 2018

神经网络距离的极小极大估计

PDF
TL;DR本文研究了基于概率测度的积分距离度量学习算法在神经网络距离度量的极小值估计问题。通过样本推算，我们得到了对神经网络距离度量的估计误差的极小值下限和比现有估计误差上限更紧的上界，并证明了在实践中经验神经网络距离度量是真实神经网络距离度量的有效近似。
generative adversarial networksintegral probability metricneural net distanceminimax estimation problemestimator error
发现论文，激发创造
  • 基于 IPM 的 GAN 的半监督学习：一个实证研究

    本文探讨了基于积分概率度量的生成式对抗网络在半监督学习中的性能，研究表明，对判别器结构的设计能够提高性能，尤其避免使用批归一化和梯度惩罚限制等方法能够提高模型性能。

    Dec, 2017

  • Wasserstein 距离下的 Minimax 分布估计

    论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设，对于概率分布的估计的统计极小值率上下界的研究。

    Feb, 2018

  • Sobolev GAN

    本文提出了一个新的在分布之间比较均值差异的积分概率度量（Integral Probability Metric，简称 IPM）：Sobolev IPM。Sobolev IPM 可以被看作是高维分布的一维 Von-Mises Cramér 统计量的扩展，并且可以用于训练生成式对抗网络（Generative Adversarial Networks，简称 GAN）。同时本文展示了 Sobolev GAN 能够在 CIFAR-10 半监督学习中取得出色的结果。

    Nov, 2017

  • 生成对抗网络评估指标的实证研究

    本文研究了生成对抗网络（GAN）的评估方法，发现基于核最大均值差（MMD）和最近邻（1-NN）等指标，可以较好地满足评估需要，同时具备区分真实样本与生成样本的性质，并探究了几种著名 GAN 模型的特性。

    Jun, 2018

  • 关于积分概率度量、φ- 散度和二元分类

    论文研究了概率上的一个距离度量（即积分概率度量），并提出这种度量具有一些新颖的性质，例如与二分类器的关系，可以拓展到更广泛的实际应用中。

    Jan, 2009

  • 具有可证明估计误差的深度神经网络最小对抗扰动

    本文提出了两种轻量级策略来找到最小的对抗扰动，区别于现有技术，该方法允许对近似距离相对于理论距离进行误差估计理论，得到了实验结果的支撑，表明该方法适用于靠近分类边界的样本，具有抗击任何对抗性攻击的证明鲁棒性保证。

    Jan, 2022

  • McGan: 均值与协方差特征匹配 GAN

    本文介绍了一种新的基于积分概率度量的生成对抗网络 (IPMs) 用于训练 GAN 的方法，该方法基于有限维特征空间中嵌入的分布的统计数据，其中的平均值和协方差匹配特征，这样的 IPMs 可实现稳定的 GAN 训练，我们称之为 McGan，并最小化所讨论的分布之间的有意义的损失

    Feb, 2017

  • 对抗损失下的非参数密度估计

    本文研究了一类大型损失函数下的非参数密度估计的极小极大收敛速率，并探讨了生成对抗网络中鉴别器网络编码的损失与其它损失函数之间的密切关系，以及选择损失和底层概率密度的光滑性如何共同确定防御策略。同时还讨论了我们的结果对于基于 Deep ReLU 网络的 GAN 训练的影响，以及最小极大统计意义下学习隐式生成模型的相关联系。

    May, 2018

  • Fisher GAN

    本文提出 Fisher GAN 并在图像生成和半监督分类中验证了其可靠性，Fisher GAN 是一种在 Integral Probability Metrics 框架内的 GAN 训练方法，其判别器使用了数据相关的约束。

    May, 2017

  • GANs 解决分数！

    本文提出了一种基于变分分析的生成对抗网络（GAN）的统一方法，讨论了在 $f$-divergence-minimizing GANs 和 IPM GANs 中的最优生成器，展示了基于分数匹配和流匹配的训练方法，以及判别器引导 Langevin 采样方法。

    Jun, 2023