ICLRMar, 2018

记忆先于生成：使用记忆网络无监督地学习 GAN

PDF
TL;DR提出了一种名为 MemoryGAN 的全新 GAN 模型，该模型使用可学习的记忆网络来解决无监督 GAN 训练过程中存在的结构不连续和过度遗忘问题，并在多个数据集上进行了评估，证明其能够产生高度逼真的图像，实现了 CIFAR10 数据集上无监督 GAN 模型的最先进 Inception 得分。
unsupervised ganslatent spacememory networkprobabilistically interpretableinception scores
发现论文，激发创造
  • 记忆重播生成对抗网络：学习生成新类别图像而不遗忘

    本文针对生成模型中的遗忘问题，提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架，通过集成记忆重现生成器来缓解前几类的遗忘，在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明，该记忆重现方法能够生成较竞争力的图像，同时显著减轻遗忘的前几类。

    Sep, 2018

  • 自监督 GAN 抵御遗忘

    本文介绍了如何通过自我监督方法对 GAN 模型中的鉴别器进行改进，以避免其出现遗忘现象，提高模型性能。

    Oct, 2018

  • 封闭循环记忆 GAN 用于连续学习

    本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

    Nov, 2018

  • 稀疏训练，密集生成：高分辨率时间 GAN 的内存有效无监督训练

    本文提出了一种创新的无监督学习高分辨率视频数据集的方法，通过将生成器模型设计为小的子生成器的堆栈，并以特定的方式训练模型来实现，每个子生成器都与其自己特定的鉴别器一起训练，并且在训练时，在每个相邻的子生成器对之间引入了一个辅助的子抽样层，以降低帧率和成本，并且使用少量的 GPU，这一方法的思想可以在生成器性能上远胜于之前的方法。

    Nov, 2018

  • 无遗忘的 GAN 记忆

    为解决生命周期学习中的灾难性遗忘问题，提出了一种基于生成式对抗网络记忆的方法，通过形成视觉上差异化的目标生成来记忆数据流，实现无遗忘学习。该方法通过基于先前任务的信息前向传递和调制来体现生命周期学习，证明了其在生命周期分类问题上相对于现有方法的优越性和有效性。

    Jun, 2020

  • 记忆式生成学习

    该研究提出一种深度生成模型，在表示学习中采用了注意机制和大型外部记忆来捕捉局部详细信息，具有变分自编码贝叶斯方法的数据似然度上限，以及学习高级不变表示的非对称识别网络。实验结果表明，记忆单元可显着提高 DGMs 的性能，并在各种任务中达到最先进的结果。

    Feb, 2016

  • 生成对抗网络去学习

    通过引入替代机制和定义虚假标签，本研究提出了一种级联取消学习方法，以在生成对抗网络中实现项目取消学习和类别取消学习，通过对 MNIST 和 CIFAR-10 数据集的综合评估，实验证明该方法在项目和类别取消学习效率方面显著提高，与从头开始重新训练相比，所需时间分别减少了最多 185 倍和 284 倍，值得注意的是，虽然模型的性能在取消学习后有轻微下降，但在处理少量图像（例如 64 张）时，该下降是可以忽略的，并且对分类等下游任务没有不良影响。

    Aug, 2023

  • 关联性对抗网络

    本文提出了一种用于生成模型的高层次联想记忆，并使用限制玻尔兹曼机作为高层次联想记忆。这种方法可用于从数据空间到高级表示空间的映射。

    Nov, 2016

  • 通过潜在空间恢复检测深度生成网络的过拟合

    本文通过分析重构误差的统计数据，揭示并证明了当使用纯粹的 GAN 模型时过拟合是不可检测的，而混合式对抗性损失则可以被检测到。此外，本文还表明了标准的 GAN 评估指标不能捕捉到某些深度生成器的记忆效应。最后，本文还展示了如何使用提出的重构方法成功地进行脸部修补和脸部超分辨率，而不使用混合式对抗性损失。

    Jan, 2019

  • 概率深度生成模型中的记忆化

    该论文研究了深度生成模型中可能出现的记忆问题，提供了一种衡量记忆现象的方式，并探讨了限制记忆的几种策略。

    Jun, 2021