Jul, 2024

高效的基于深度神经网络的软件与公平稀疏模型

HTML
PDF
TL;DR在软件3.0时代，将大型模型压缩集成到软件系统中已成为一种趋势，但是现有的模型压缩技术会对公平性性能产生负面影响。本文针对Lottery Ticket Hypothesis (LTH)修剪方法的公平性问题，提出了一种基于Ballot修剪框架的新颖方法，通过冲突检测的子网络选择和改进的训练流程来提高DNN软件的公平性。实验证明，Ballot相比于先进的压缩方法，在五个流行数据集和三个广泛使用的模型上，能够将修剪的公平性分别提高38.00％、33.91％、17.96％和35.82％。
发现论文，激发创造
  • 剪枝方法的合理性检查：随机选票或中大奖

    本文提出了一种利用随机比率和初始值提取的网络子结构的方法，称为随机票选，并通过实验发现它的性能与利用训练数据提取的子网络的性能相似或更优，并进一步介绍了一种使用随机票选和一个现有子结构提取方法的混合票选方法，被称为混合票选。

    Sep, 2020

  • 彩票票保留权重相关性: 是可取还是不可取?

    通过研究神经网络模型剪枝，提出了“Lottery Ticket Hypothesis”，发现神经网络的初始化和学习率等条件会影响最优子网络的提取，同时提出“Pruning & Fine-tuning”方法来优化剪枝和训练，实验证明该方法在多种深度神经网络结构上表现出色。

    Feb, 2021

  • 预训练模型中存在的彩票大奖

    本文提出了一种搜索被称为"lottery jackpots"的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

    Apr, 2021

  • 研究彩票票据剪枝掩模的一致性和组合性

    本文研究了采用多轮训练的方式，是否能够提高特定体系结构的准确度与稀疏性之间的平衡，并在共享的 ResNet-20 初始化的基础上使用不同的 SGD 数据顺序训练多个网络副本来实现。我们的实验结果显示，采用多轮训练的思路与一次性的基于幅度裁剪的方法相比并无差异。

    Apr, 2021

  • 粗化粒度：朝向结构稀疏的彩票神经元

    本文提出一种新方法，通过迭代的裁剪与一系列“后处理技术”，找到带有结构化稀疏性的获奖子网络，从而在不影响模型精度的情况下，显著提高模型的推理速度。

    Feb, 2022

  • 通过双层优化推进模型剪枝

    本文介绍了一种基于双层优化的模型修剪方法，称为BiP，它可以像一级优化一样简单地解决大规模深度学习模型的修剪问题，而且在大多数情况下，此方法可以比传统的迭代剪枝（IMP）找到更好的中奖率，并且在同样的模型准确性和稀疏度下可以获得2-7倍的速度提升。

    Oct, 2022

  • 即时汤：在单次传递中廉价剪枝集合可以从大型模型中抽出彩票

    本文介绍了一种名为Instant Soup Pruning(ISP)的卷积神经网络模型剪枝方法，使用该方法在不需要昂贵硬件的情况下，生成小型剪枝模型子网络，并成功将该方法应用于两个大规模预训练模型：CLIP和BERT，我们的实验结果表明，与其他剪枝方法相比，ISP非常有效。

    Jun, 2023

  • 标签噪声下量化彩票：准确性，校准和复杂度

    本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

    Jun, 2023

  • 蒸馏修剪：使用合成数据赢得彩票

    利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。

    Jul, 2023

  • 在一个运行中耦合公平与修剪：一个双层优化视角

    通过公平剪枝技术，我们提出了一种基于稀疏模型的公平剪枝框架，旨在在保持性能的同时确保公平性，并通过实验证明了该方法在维持模型公平性、性能和效率方面的优越性。

    Dec, 2023