Feb, 2019

重新思考生成模型覆盖度：点对点保证方法

PDF
TL;DR通过游戏论的角度重新思考模态缺失问题，提出了一种基于乘性权重更新规则的生成模型算法，能够通过生成器混合覆盖每个数据点和每个模式。
generative modelsmissing modesmode coveragegame theorymultiplicative weights update rule
发现论文，激发创造
  • 通过多样性权重实现生成模型的模式平衡

    通过平衡训练数据集中的模式，我们提出了一种多样性权重训练方案，以增加模型的输出多样性，并在受控环境下进行了实验，证明了我们的方法的潜力，这将有助于解决生成式机器学习中偏差、公正性和代表性等更广泛辩论中的多样性问题。

    Apr, 2023

  • 没有模式被遗漏：使用 GAN 有效捕获数据分布

    本文提出了一种新的简单方法，将基于编码器的目标函数与新颖的损失函数相结合，以在丢失模式问题上改进生成对抗网络（GAN）的训练，其中详细分析了玩具和真实数据集的量化和定性结果，证明了该方法在解决缺失模式问题和提高 GAN 训练方面的有效性。

    Feb, 2018

  • BourGAN: 具有度量嵌入的生成网络

    本文讨论了生成对抗网络（GANs）中的模式坍塌问题，提出了一种基于度量空间的几何视角来嵌入数据，以解决自动确定潜在空间维度和构造高斯混合模型的方法，进而改进目标函数，通过理论分析支持每个方法步骤，并验证了该方法能够在真实和合成数据上产生分布于大多数模式中的样本，避免不需要的样本，性能优于现有 GAN 变体。

    May, 2018

  • 多生成器生成对抗网络

    本文提出了一种名为 Mixture GAN （MGAN）的新方法，该方法采用多个生成器的混合训练，旨在克服 mode collapsing 问题，通过理论分析得出结论，证明了在平衡状态下，多个生成器的分布和数据分布之间的 Jensen-Shannon 差异最小，生成器之间的 Jensen-Shannon 差异最大，从而有效地避免了 mode collapsing 问题，能够在多项实验中取得明显的优势。

    Aug, 2017

  • 一般 KDE 模式查找的降维

    本文研究了使用混合模型和核密度估计表示的高维概率分布的众数估计的算法问题，提出了基于随机化降维方法的众数近似算法，并且证明了针对某些核函数无法在多项式时间内解决众数估计问题。

    May, 2023

  • 推进式生成模型能够拟合多模态分布吗？

    通过研究生成模型中的推进模型，发现模型的 Lipschitz 常数必须很大才能拟合多模态分布，而稳定性与能力之间存在可证明的权衡关系。同时，基于可证的发现，在一维和图像数据集上验证了模型的稳定性，并证明了堆叠网络和扩散模型的生成模型不会饱经多模独立现象下的诸多限制。

    Jun, 2022

  • GAN 的判别器可近似性意味着多样性

    本文研究发现，通过针对特定生成器选择具有强鉴别能力的鉴别器以学习 Wasserstein 距离下（或者在很多情况下是 KL 散度下）的分布，一定能以多项式复杂度学习，从而解决了 GANs 过于简单导致模式严重缺失的问题。

    Jun, 2018

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 混合密度生成对抗网络

    本文提出了一种新型 GAN 变体 Mixutre Density GAN，通过在判别器嵌入空间中形成聚类来打破生成器的模式崩塌问题，从而发现不同的数据模式，并在生成高质量图像方面表现出色。

    Oct, 2018

  • 对抗生成网络中防止模式崩溃的分布拟合

    本文提出了一种全局分布拟合方法和一种局部分布拟合方法来解决生成式对抗网络中的模式崩溃问题，实验证明这两种方法具有有效性和竞争性表现。

    Dec, 2022