ICMLJun, 2022

鲁棒预训练的数据高效双赢彩票

PDF
TL;DR本研究提出了一种 “双赢彩票模型”，在同时具有标准训练和对抗训练的下游任务中， 可独立转移预训练模型的定位子网络，以达到与完整预训练模型相同的标准和强健的识别泛化效果。然后，本研究探讨了各种预先训练机制，发现强健的预先训练倾向于制作更稀疏的双赢彩票模型，并且相较于标准机制，在实际数据有限的情况下会更加高效。
pre-traininglottery tickets hypothesisdouble-win lottery ticketsadversarial vulnerabilityrobust pre-training
发现论文，激发创造
  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 鲁棒性强的模型参数可获更好迁移能力：在迁移学习中绘制更多可迁移子网络

    该研究提出了一种新的迁移学习管道，可以通过具有适当诱导的对抗鲁棒性的子网络来实现更好的迁移能力，从而在各种下游任务和稀疏性模式中实现增强的准确性和稀疏性 - 精度权衡，进一步丰富了彩票票假设。

    Apr, 2023

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 双重彩票神经元假设

    本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 成功将抽奖票假设应用于扩散模型

    通过将 Lottery Ticket Hypothesis 应用于扩散模型，本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。

    Oct, 2023

  • 视觉和语言中的抽奖券玩法

    本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。

    Apr, 2021

  • 计算机视觉模型的有监督和自监督预训练的 “彩票票据” 假设

    本研究探讨基于经典的 ImageNet 有监督预处理和新兴的自监督预处理方法，如 simCLR 和 MoCo 的预训练模型，通过 LTH 找到高度稀疏的匹配子网络，并验证其在多个下游任务的可迁移性，结果表明，在 59.04％至 96.48％的稀疏度下，这些匹配子网络的性能与完整的预训练模型相比没有降低。

    Dec, 2020

  • 预训练 BERT 网络的彩票票证假设

    本文采用彩票票据假说来研究预训练的 BERT 模型是否存在可训练的、可转移的子网络，发现在一些任务上存在符合条件的子网络，这些子网络在初始化时即可被找到，其中在与预训练任务相同的任务上找到的子网络具有普适的迁移性，而在其他任务上找到的子网络则具有有限的迁移性。

    Jul, 2020

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • LOFT: 通过逐层过滤训练查找彩票券

    本文研究了 Lottery Ticket Hypothesis，并提出了一种称为 LOttery ticket through Filter-wise Training 的卷积神经网络预训练算法来识别优秀的 filters 并减少预训练的内存和通信成本，同时保持甚至提高了准确度。

    Oct, 2022