May, 2021

GANs 也能玩彩票

PDF
TL;DR本文研究了压缩深度生成对抗网络中的可训练匹配子网络的存在性和质量，并通过广泛的实验结果证明，这些找到的子网络在图像生成和图像转换上显著优于先前的最先进 GAN 压缩方法。
generative adversarial networksganscompressionsubnetworkstransferability
发现论文，激发创造
  • 基于彩票票据视角的数据高效 GAN 训练（不只是数据增强）

    本文提出了一种基于罕见子网络和特征增强的数据有效 GAN 训练方法，可应用于多种 GAN 架构和不同数据集。

    Feb, 2021

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 自监督 GAN 压缩

    通过自我监督压缩技术，我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

    Jul, 2020

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 从超网络中联合进行架构搜索和参数剪枝，绘制与任务无关的彩票票券

    本文提出了一种 SuperTickets 的方法，通过一种两合一的训练方法进行神经架构搜索和参数修剪，从而直接识别出有效的神经网络。该方法不仅能够改善精度和效率权衡的问题，并且可用于多任务处理。

    Jul, 2022

  • 连续稀疏化在中奖彩票中的应用

    该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

    Dec, 2019

  • CoroNetGAN: 通过超网络控制 GAN 的剪枝

    提出了一种利用可微的修剪方法通过超网络压缩 GAN 的方法，实现可控压缩训练，并在多个基准数据集上取得了优异的性能。

    Mar, 2024

  • 彩票票保留权重相关性：是可取还是不可取？

    通过研究神经网络模型剪枝，提出了 “Lottery Ticket Hypothesis”，发现神经网络的初始化和学习率等条件会影响最优子网络的提取，同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练，实验证明该方法在多种深度神经网络结构上表现出色。

    Feb, 2021