ECCVJul, 2022

从超网络中联合进行架构搜索和参数剪枝，绘制与任务无关的彩票票券

PDF
TL;DR本文提出了一种 SuperTickets 的方法，通过一种两合一的训练方法进行神经架构搜索和参数修剪，从而直接识别出有效的神经网络。该方法不仅能够改善精度和效率权衡的问题，并且可用于多任务处理。
neural architecture searchlottery ticket hypothesisdnnsuperticketssupernet training
发现论文，激发创造
  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 将多张小票叠加为一张：稀疏神经网络训练的性能提升器

    本文提出了一种用有限的训练资源制造多个性价比高的稀疏神经网络子网络，并将它们叠加在一起形成一个更加强大的子网络的新型稀疏训练方法 Sup-tickets，该方法可以同时满足在标准训练时间内有效地生成多个低损失子网络和有效地将这些低成本子网络叠加成一个更强的子网络的两个愿望。在 CIFAR-10/100 和 ImageNet 等各种现代架构上展示了 Sup-tickets 的一致性性能改进。

    May, 2022

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。

    Dec, 2020

  • 鲁棒预训练的数据高效双赢彩票

    本研究提出了一种 “双赢彩票模型”，在同时具有标准训练和对抗训练的下游任务中， 可独立转移预训练模型的定位子网络，以达到与完整预训练模型相同的标准和强健的识别泛化效果。然后，本研究探讨了各种预先训练机制，发现强健的预先训练倾向于制作更稀疏的双赢彩票模型，并且相较于标准机制，在实际数据有限的情况下会更加高效。

    Jun, 2022

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 关于通用彩票券的存在

    本文证明了稀疏子网络（所谓 “奖券假设”）不仅存在于深度神经网络中，而且它所具有的普适性无需进行进一步训练，这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。

    Nov, 2021

  • 鲁棒性强的模型参数可获更好迁移能力：在迁移学习中绘制更多可迁移子网络

    该研究提出了一种新的迁移学习管道，可以通过具有适当诱导的对抗鲁棒性的子网络来实现更好的迁移能力，从而在各种下游任务和稀疏性模式中实现增强的准确性和稀疏性 - 精度权衡，进一步丰富了彩票票假设。

    Apr, 2023