Jun, 2016

条件生成的矩匹配网络

PDF
TL;DR本研究提出了条件生成矩匹配网络 (CGMMN)，基于条件最大均值差距 (CMMD) 标准，学习给定一些输入变量的条件分布，学习采用随机梯度下降，梯度通过反向传播计算。我们在广泛的任务上评估了 CGMMN，包括预测建模、上下文生成和贝叶斯暗知识，这些任务通过学习相对较小的 CGMMN 学生网络从贝叶斯模型中提炼知识。结果表明，在所有任务中都具有竞争性的性能。
maximum mean discrepancyconditional generative moment-matching networkskernel mean embeddingbayesian dark knowledgestochastic gradient descent
发现论文，激发创造
  • MMD GAN: 基于矩匹配网络的深度理解

    通过引入对抗内核学习技术，提出了一种改进的生成矩匹配网络 MMD-GAN，它能够显著提高模型的表达性和计算效率，并在多个基准数据集上表现优异。

    May, 2017

  • 生成时刻匹配网络

    本文研究使用多层感知器、最大均值差异等统计假设检验技术来训练生成对抗网络，并与自编码器网络相结合，以产生比基准方法更优秀的 MNIST 和 Toronto Face Database 的生成模型。

    Feb, 2015

  • 通过最大均值差异优化训练生成神经网络

    通过最大均值差异的无偏估计作为双样本检验统计量，将深度神经网络视为生成器网络，将学习过程看做最小化二元检验统计量，通过实证比较及理论边界分析，探究了生成对抗网络框架及无参数核双样本检验框架的异同。

    May, 2015

  • 基于最大均值差异（MMD）统计量的集中不等式及其在生成模型中的应用

    我们提出了一种均匀集中不等式，用于一类基于最大均值差异（MMD）的估计器的理论分析，特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导

    May, 2024

  • 通过优化的最大均值差异实现生成模型和模型评估

    本研究提出了一种基于最大均值差异（MMD）的统计检验来最大化两个概率分布样本的表示和区分度的优化方法，并将其应用于生成对抗网络（GAN）的无监督学习设置中，在其中，MMD 可以用作两种角色：一是直接对样本或样本特征作为鉴别器使用，二是通过将模型样本与参考数据集比较来评估生成模型的性能。

    Nov, 2016

  • 具有最大平均差异正则化的贝叶斯神经网络

    本文提出了一种基于最大均值差异的理解下界（ELBO）的变体，该下界替代了 KL 散度，取得了比现有技术更高的多个基准测试结果，包括多个图像分类任务。 此外，本文还提出了一种新的估算给定预测的不确定性的公式，并表明该公式对抗攻击和输入噪声具有更强的健壮性。

    Mar, 2020

  • 解密 MMD GANs

    通过使用最大均值差异（MMD）作为批判家来研究生成对抗网络的训练和性能，我们澄清了最近的工作中提出的 GAN 损失函数中的偏差问题，并讨论了 MMD 批判家的内核选择问题，提出了改进的 GAN 收敛度量，核启动距离，并展示如何在 GAN 训练期间使用它动态调整学习速率。

    Jan, 2018

  • 最大均值差异下的生成模型统计推断

    本文介绍了一种基于最小距离估计的统计模型，即对于可能性不易计算的生成模型，通过指定核函数，作为一个度量距离的最大均值差异（MMD）可以用来进行最小距离估计，同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。

    Jun, 2019

  • 基于条件矩匹配差异的图像分类中学习核

    本文提出了 KLN 方法，即利用深度神经网络的特征进行迭代学习，使用 CMMD 损失和自编码器等方式来实现注射函数的学习，从而提高了数据分类描述的效能，分类性能达到了最新的良好结果。

    Aug, 2020

  • 生成比率匹配网络

    提出了一种新的训练深度生成模型的方法 ——Generative ratio matching (GRAM)，通过使用固定核函数而非生成器和评价器网络在鞍点优化方面的博弈来训练生成模型。结果表明，GRAM 网络不仅像 MMD-net 那样稳定易训练，而且在生成质量上也能与经过对抗训练的生成网络相媲美甚至超越。

    May, 2018