Jan, 2019

通过潜在空间恢复检测深度生成网络的过拟合

PDF
TL;DR本文通过分析重构误差的统计数据，揭示并证明了当使用纯粹的 GAN 模型时过拟合是不可检测的，而混合式对抗性损失则可以被检测到。此外，本文还表明了标准的 GAN 评估指标不能捕捉到某些深度生成器的记忆效应。最后，本文还展示了如何使用提出的重构方法成功地进行脸部修补和脸部超分辨率，而不使用混合式对抗性损失。
deep generative networksoverfittingreconstruction errorsadversarial lossesgan evaluation metrics
发现论文，激发创造
  • 记忆先于生成：使用记忆网络无监督地学习 GAN

    提出了一种名为 MemoryGAN 的全新 GAN 模型，该模型使用可学习的记忆网络来解决无监督 GAN 训练过程中存在的结构不连续和过度遗忘问题，并在多个数据集上进行了评估，证明其能够产生高度逼真的图像，实现了 CIFAR10 数据集上无监督 GAN 模型的最先进 Inception 得分。

    Mar, 2018

  • 记忆重播生成对抗网络：学习生成新类别图像而不遗忘

    本文针对生成模型中的遗忘问题，提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架，通过集成记忆重现生成器来缓解前几类的遗忘，在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明，该记忆重现方法能够生成较竞争力的图像，同时显著减轻遗忘的前几类。

    Sep, 2018

  • 基于图像自适应 GAN 的重建

    本研究针对深度生成模型如变分自编码器和生成对抗网络在高复杂度图片样本表现的不足，提出一种图像自适应的修复方案，增强复原的表达能力。在图像超分辨率和压缩感知方面进行了实证表明其优势。

    Jun, 2019

  • 概率深度生成模型中的记忆化

    该论文研究了深度生成模型中可能出现的记忆问题，提供了一种衡量记忆现象的方式，并探讨了限制记忆的几种策略。

    Jun, 2021

  • 封闭循环记忆 GAN 用于连续学习

    本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

    Nov, 2018

  • 深度网络内存化探究

    本文研究深度学习中记忆化的作用，探讨了容量，泛化，对抗鲁棒性的联系。作者的实验表明，深度神经网络在优化噪声数据和真实数据时存在数量上的差异，但经过适当的正则化调整（如 dropout），我们可以降低其在噪声数据集上的训练性能，同时不影响在真实数据上的泛化能力。研究结果表明，数据集本身在决定记忆化程度时具有重要作用，而基于梯度优化方法的深度网络的泛化性能不太可能由数据集独立的有效容量来解释。

    Jun, 2017

  • 自然、稳健和灾难性过拟合中的过度记忆

    通过探索不同类型的过拟合，本研究聚焦于自然模式，发现深度神经网络中的过度记忆现象并提出了一种名为 “干扰过度记忆” 的框架，通过移除或增加高置信度的自然模式来综合地减轻不同类型的过拟合，实验证明该方法在各种训练范式中有效。

    Oct, 2023

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 对抗性训练中的记忆研究

    研究表明，深度学习模型具有记忆整个训练集的倾向，通过对对抗训练（AT）中记忆效应的探索，揭示了模型容量、收敛、泛化和特别是对抗性训练模型的鲁棒过拟合等问题，提出了一种减缓鲁棒过拟合的算法，并通过各种数据集上的广泛实验验证了该算法的有效性。

    Jun, 2021

  • 终身 GAN: 面向条件图像生成的持续学习

    本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

    Jul, 2019