CVPRJun, 2024

通过数据驱动的频谱视角修剪在视觉模型中发现彩票票据

PDF
TL;DR神经网络修剪能够减少深度学习模型训练之前的计算成本和内存需求。我们专注于该框架，并提出了一种新的初始化修剪算法，利用神经切向核（NTK）理论将稀疏网络的训练动态与密集网络对齐。我们介绍了如何考虑 NTK 光谱中通常被忽视的数据相关部分，并通过将神经网络分解为单个路径来获得 NTK 迹的解析上界。这导致我们的 Path eXclusion (PX) 方法，一种旨在保留对 NTK 迹影响最大的参数的预测性修剪方法。PX 能够在高稀疏程度下找到优秀的路径，大大减少额外的训练需求。应用于预训练模型时，它提取出可用于多个下游任务的子网络，性能可与密集模型媲美，但具有大量成本和计算节约。
neural network pruningcomputational costsmemory demandsneural tangent kernelpath exclusion
发现论文，激发创造
  • 植物寻觅：你能找到获胜的门票吗？

    通过开发一种在神经网络随机初始化时具有理想特性的彩票中隐藏并发掘出触及四项挑战性任务的采用最先进剪枝方法的框架，我们发现算法的限制基本上是算法性质的。

    Nov, 2021

  • NTK-SAP: 通过对齐训练动态改进神经网络剪枝

    该研究旨在通过剪枝神经网络来减少其训练时间和内存使用，本研究提出了一种名为 NTK-SAP 的方法，它基于神经切向核的谱对网络进行剪枝，并在多个数据集上实现了优异的表现。

    Apr, 2023

  • 探索突触传递网络中的抽奖票假设

    该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

    Jul, 2022

  • 通过彩票票据假设和基于知识蒸馏的神经网络修剪增强推荐系统的可扩展性

    该研究介绍了一种创新方法，旨在高效剪枝神经网络，特别关注其在边缘设备上的部署。通过将 “Lottery Ticket Hypothesis”（LTH）与 “Knowledge Distillation”（KD）框架相结合，我们提出了三个不同的剪枝模型，用于解决推荐系统中的可扩展性问题。通过巧妙应用剪枝技术，我们有效地降低了功耗和模型维度，同时又不影响准确性。实证评估使用来自不同领域的两个真实数据集对比了两个基准方法。令人满意的是，我们的方法在 GPU 计算能力上实现了高达 66.67% 的降低。值得注意的是，我们的研究通过首次应用 LTH 和 KD 在推荐系统领域做出了贡献。

    Jan, 2024

  • 深度生成模型中的中奖彩票

    本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

    Oct, 2020

  • 彩票假说：寻找稀疏的可训练神经网络

    该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

    Mar, 2018

  • 连续稀疏化在中奖彩票中的应用

    该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

    Dec, 2019

  • 从超网络中联合进行架构搜索和参数剪枝，绘制与任务无关的彩票票券

    本文提出了一种 SuperTickets 的方法，通过一种两合一的训练方法进行神经架构搜索和参数修剪，从而直接识别出有效的神经网络。该方法不仅能够改善精度和效率权衡的问题，并且可用于多任务处理。

    Jul, 2022

  • 傅里叶分析引导的网络剪枝：基于频率的抽签获胜

    本文探讨基于傅里叶分析的 Magnitude-Based Pruning (MBP) 算法，在深度学习模型中进行网络压缩和模型设计，并提出了一种新颖的两阶段剪枝方法。实验结果表明，我们提出的基于傅里叶分析的 MBP 算法相比其他传统 MBP 算法具有优越性。

    Jan, 2022

  • 预训练模型中存在的彩票大奖

    本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

    Apr, 2021