Mar, 2024

FALCON: 面向神经网络剪枝的 FLOP 感知组合优化

PDF
TL;DR神经网络的计算需求逐渐增加，同时对资源有限的设备提出了部署挑战。网络剪枝是在保持性能的同时减小模型大小和计算成本的解决方案。本文提出了 FALCON，一种基于组合优化的网络剪枝框架，同时考虑了模型准确性、FLOPs 和稀疏性约束。我们的算法可以解决含有数百万参数的问题实例，并证明在固定 FLOP 预算下，FALCON 相比其他剪枝方法具有更高的准确性。此外，在逐步剪枝设置中，我们的框架表现优于现有的剪枝方法，强调了对有效网络剪枝而言，结合 FLOP 和稀疏性约束的重要性。
发现论文，激发创造
  • FLOPs 作为学习稀疏神经网络的直接优化目标

    本文扩展了一种最先进的技术，将 FLOPs 直接纳入优化目标，证明不同神经网络能够成功地训练图像分类，从而满足对 FLOPs 需求的指定目标的系统约束。

    Nov, 2018

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

    Nov, 2021

  • 基于设计图的高效自动机器学习

    提出了一种名为 FALCON 的 AutoML 方法，利用设计图模型空间和图神经网络来进行模型设计的优化搜索。该方法在多个实验中表现出了和一次性方法相当的时间成本，同时相比最佳基线实现了平均 3.3% 的性能提升。

    Oct, 2022

  • 高效神经网络的类别感知剪枝

    深度神经网络（DNNs）在各个领域取得了显著的成功。然而，DNNs 中的大量浮点运算（FLOPs）对于在资源受限应用中部署它们提出了挑战。为了解决这个问题，引入了修剪技术来减少执行 DNNs 的计算成本。与以往的修剪方法不同，本文提出了一种类感知的修剪技术来压缩 DNNs，为减少 DNNs 的计算成本提供了一种新的视角。该修剪技术优于以前的修剪解决方案在准确性、修剪比率和 FLOPs 的减少方面。实验结果证实，这种类感知的修剪技术能够显著减少权重和 FLOPs 的数量，同时保持高推理准确度。

    Dec, 2023

  • 将先见之明修剪与零阶优化结合：低内存设备上高效的联邦学习

    基于神经切向核（NTK）的联邦预见修剪方法可以与联邦 BP-Free 训练框架无缝集成，减少内存使用并提高性能。

    May, 2024

  • FalconNet: 轻量级卷积神经网络的分解

    通过设计 LightNet 总体架构、抽象出 Meta Light Block、提高表示能力的空间运算器和提高初始块的通道运算器以及引入感受野的概念，我们提出了一个名为 FalconNet 的新颖轻量级卷积神经网络模型，实验结果表明，与现有的轻量级 CNN 相比，FalconNet 可以用较少的参数和 Flops 实现更高的准确性。

    Jun, 2023

  • FALCON：特征 - 标签约束的图神经网络压缩方法用于内存高效的 GNNs

    我们提出了一种拓扑感知的图减少技术 FALCON，它能保持特征 - 标签分布，并结合其他记忆减少方法（如小批量 GNN 和量化）进一步降低内存使用，通过与 SOTA 方法进行对比评估，我们广泛的结果表明 FALCON 能够在 GNN 模型上显著减少多种公共数据集的内存使用，同时实现相等的预测质量。

    Dec, 2023

  • 分层无线网络中的自适应联邦剪枝

    本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

    May, 2023

  • 卷积神经网络的加速器感知剪枝

    在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

    Apr, 2018

  • Beta-Rank: 一种用于不平衡医学图像分析的强大卷积滤波器剪枝方法

    这篇论文提出了一种新的滤波器剪枝方法，它能够有效地减少深度神经网络所需要的计算资源，同时通过与其他方法的比较和在医学数据集和智能手机应用程序上尝试验证，表明本文提出的方法表现得更好。

    Apr, 2023