CVPRJun, 2022

DiSparse: 多任务模型压缩的解耦稀疏化

PDF
TL;DR本文提出 DiSparse 算法，一个多任务模型简化与稀疏训练方法，可分解任务，采用一致的决策进行参数修剪和选择，并在多种配置下，表现出优于常见稀疏训练和修剪方法的性能。
model compressionmultitask learningdisparsepruningsparse training
发现论文，激发创造
  • 基于归因修剪的多任务语言模型任务特定压缩

    本研究提出了一种新颖的多任务语言模型压缩方法，使用剪枝方法，通过使用属性方法确定哪些神经元对于执行特定任务是必不可少的，然后对于不重要的神经元进行任务特定的修剪，进一步将该方法扩展到适用于低资源和无监督的场景。通过实验可以发现，该压缩方法不需要训练，使用少量计算资源，且不会破坏语言模型的预先训练的知识，且可以显着优于基线修剪方法，并且在未见过领域的情况下仍然保持性能。

    May, 2022

  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • 少即多 —— 利用结构稀疏性构建简约的多任务模型

    将结构组稀疏性引入共享参数的多任务学习框架中，通过在共享层中使用通道级别的 l1/l2 组稀疏性，以开发出能够有效处理多个任务的简化模型，其参数更少且性能可与密集模型相媲美或更优。

    Aug, 2023

  • 从密集到稀疏：对比剪枝用于更好的预训练语言模型压缩

    我们提出了一种名为 ContrAstive Pruning（CAP）的模型压缩框架，它保留了先前模型的任务不可知知识和任务特定知识，并证明了该方法在极高稀疏度情况下均能显著提高模型性能。

    Dec, 2021

  • 动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

    本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。

    May, 2020

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 平衡行动：在稀疏模型中约束不平等影响

    通过直接解决剪枝带来的不一致影响，我们的研究提出了一种约束优化方法，通过在每个子组中限制密集模型和稀疏模型之间的准确度变化来确定剪枝模型是否达到可接受的不一致水平。实验证实了我们的技术在解决涉及大型模型和数百个受保护子组的问题上具有可靠的可扩展性。

    Oct, 2023

  • 为多个任务学习稀疏共享架构

    研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。

    Nov, 2019

  • 针对大语言模型微调的参数高效稀疏化

    该研究提出了参数有效的稀疏训练 (PST) 方法，通过减少可训练参数的数量以使得稀疏训练资源有效并具有参数效益，从而解决了稀疏训练时计算开销和内存占用的问题，在 BERT，RoBERTa 和 GPT-2 等网络上得到了有效验证。

    May, 2022

  • 参数高效的 Diff 剪枝用于偏差缓解

    介绍了一种模块化的架构，应用 DiffPruning 和对抗训练技术在保持语言模型存储效率的同时，减少预设受保护属性对推理结果的影响。

    May, 2022