Dec, 2020

计算机视觉模型的有监督和自监督预训练的“彩票票据”假设

HTML
PDF
TL;DR本研究探讨基于经典的ImageNet有监督预处理和新兴的自监督预处理方法，如simCLR和MoCo的预训练模型，通过LTH找到高度稀疏的匹配子网络，并验证其在多个下游任务的可迁移性，结果表明，在59.04％至96.48％的稀疏度下，这些匹配子网络的性能与完整的预训练模型相比没有降低。
发现论文，激发创造
  • 重思ImageNet预训练

    使用随机初始化的标准模型，在 C​​OCO 数据集上进行的目标检测和实例分割，结果不劣于它们的 ImageNet 预训练模型，证明预训练模型并不一定能提高模型最终的准确性。

    Nov, 2018

  • 稀疏转移学习中的优胜彩票算法

    本文基于Lottery Ticket Hypothesis对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约90-95%权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 线性模式连通性与彩票票证假说

    研究神经网络优化是否在不同的 SGD 噪声样本下优化到相同的线性连接最小值; 发现标准视觉模型在训练早期就变得稳定了，IMP 只有在稳定下来SGD噪声时才能达到完全准确性。

    Dec, 2019

  • 预训练BERT网络的彩票票证假设

    本文采用彩票票据假说来研究预训练的 BERT 模型是否存在可训练的、可转移的子网络，发现在一些任务上存在符合条件的子网络，这些子网络在初始化时即可被找到，其中在与预训练任务相同的任务上找到的子网络具有普适的迁移性，而在其他任务上找到的子网络则具有有限的迁移性。

    Jul, 2020

  • 用于目标识别的彩票票据假设

    文章探讨了深度学习神经网络中Lottery Ticket Hypothesis（LTH）方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果，结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到80%的稀疏度。

    Dec, 2020

  • 双重彩票神经元假设

    本论文提出Dual Lottery Ticket Hypothesis和Random Sparse Network Transformation实现稀疏神经网络训练，并通过实验证明了其有效性。

    Mar, 2022

  • 鲁棒预训练的数据高效双赢彩票

    本研究提出了一种“双赢彩票模型”，在同时具有标准训练和对抗训练的下游任务中， 可独立转移预训练模型的定位子网络，以达到与完整预训练模型相同的标准和强健的识别泛化效果。然后，本研究探讨了各种预先训练机制，发现强健的预先训练倾向于制作更稀疏的双赢彩票模型，并且相较于标准机制，在实际数据有限的情况下会更加高效。

    Jun, 2022

  • LOFT: 通过逐层过滤训练查找彩票券

    本文研究了Lottery Ticket Hypothesis，并提出了一种称为LOttery ticket through Filter-wise Training的卷积神经网络预训练算法来识别优秀的filters并减少预训练的内存和通信成本，同时保持甚至提高了准确度。

    Oct, 2022

  • 视觉Transformer的数据级彩票假设

    本文提出了一种数据级彩票假设（Data-LTH-ViT），旨在寻找将Vision Transformers训练到与使用所有图像补丁训练模型相似准确度的可行子集。结果表明，使用获胜彩票的模型与随机选择子集的模型的性能存在明显差异，并且该理论具有与传统LTH相似之处。

    Nov, 2022

  • 即时汤：在单次传递中廉价剪枝集合可以从大型模型中抽出彩票

    本文介绍了一种名为Instant Soup Pruning(ISP)的卷积神经网络模型剪枝方法，使用该方法在不需要昂贵硬件的情况下，生成小型剪枝模型子网络，并成功将该方法应用于两个大规模预训练模型：CLIP和BERT，我们的实验结果表明，与其他剪枝方法相比，ISP非常有效。

    Jun, 2023