Oct, 2019

Small-GAN: 使用核心集加速 GAN 训练

PDF
TL;DR本文提出了一种利用 Coreset-selection 压缩训练数据，从而实现减少训练时间和内存使用的方法，并在生成对抗网络中实现了新的异常检测状态。
generative adversarial networksmini-batch sizescoreset-selectiontraining timeanomaly detection
发现论文，激发创造
  • 大规模 GAN 训练的高保真自然图像合成

    本文介绍了使用生成式对抗网络和正交正则化训练的大规模条件图片生成方法，并提出了一种截断技巧来控制生成器输入方差，从而在生成高保真度和多样化样本方面实现平衡。该方法应用于 ImageNet 数据集上，在 128x128 分辨率下，IS（Inception Score）为 166.5，FID（Frechet Inception Distance）为 7.4，表现超过之前的方法。

    Sep, 2018

  • 卷积网络的大批量训练

    本文介绍了一种新的大批量训练算法：LARS，该算法采用分层自适应速率缩放，可使得尽管使用大批量训练，Alexnet 和 Resnet-50 的准确性不会降低。

    Aug, 2017

  • TinyGAN：基于 BigGAN 的有条件图像生成蒸馏

    提出了一种基于黑盒知识蒸馏的 GAN 模型压缩方法，将 BigGAN 作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

    Sep, 2020

  • 生成对抗网络集成用于合成训练数据生成

    本文研究了在医学影像方面采用生成对抗网络（GANs）合成图像作为深度学习的训练数据来替代难以获取的真实数据集的可行性，同时探讨使用多个 GANs 以提高生成数据的差异性在数码病理学方面的应用。

    Apr, 2021

  • 使用敌对式训练和二阶信息进行神经网络的大批量训练

    本文提出了一种基于 Ray 框架的新型自适应批量大小框架，以及一种使用二阶方法和对抗训练的新型自适应批量大小训练方案，该方法在多个神经网络和数据集上均实现了比现有解决方案更好的效果。

    Oct, 2018

  • 在人工数据集上训练 GAN 的经验教训

    通过训练 GAN 在人工数据集上，我们发现混合多个 GANs 相比于使用更深、更宽、更复杂的单个生成器会获得更好的结果。在 CIFAR-10 数据集上，我们的方法在流行的指标（IS 和 FID）上明显优于现有技术的表现。

    Jul, 2020

  • 大批次训练的并发对抗学习

    本研究提出使用对抗学习 (adversarial learning) 技术来增加大批量训练 (large-batch training) 的批量大小，以克服随着批量大小的增加而降低的数据增强表现的问题，并通过 Concurrent Adversarial Learning (ConAdv) 方法来解决对抗学习中的时间成本问题，在 ImageNet ResNet-50 训练中成功将批量大小扩展到 96K，并在保持高精度的同时大幅提高了模型的训练效率。

    Jun, 2021

  • 利用预训练的 GAN 生成有限数据

    本研究利用预训练的大规模 GAN 模型在有限数据情境下实现了对感知明显目标领域的图像生成，提出了自适应滤波器调制（AdaFM）的方法，证明了此技术在限制数据生成方面的有效性。

    Feb, 2020

  • GAN 的实例选择

    本文提出了一种改进样本质量的新方法：在模型训练之前通过实例选择来改善经验数据分布，将模型容量重定向到高密度区域，从而提高样本保真度，降低模型容量要求和显著减少训练时间。

    Jul, 2020

  • 基于彩票票据视角的数据高效 GAN 训练（不只是数据增强）

    本文提出了一种基于罕见子网络和特征增强的数据有效 GAN 训练方法，可应用于多种 GAN 架构和不同数据集。

    Feb, 2021