May, 2023

利用概率形态剪枝进行预算感知的图卷积网络设计

PDF
TL;DR本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实验证明，轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。
graph convolutional networksprobabilistic magnitude pruningmulti-head attentionimage processingskeleton-based recognition
发现论文，激发创造
  • 图卷积网络的一次性多速率剪枝

    我们提出了一种轻量级图卷积网络设计，称为 Multi-Rate Magnitude Pruning (MRMP)，它通过联合训练网络拓扑和权重来对网络进行训练。该方法是变分的，通过将学习网络的权重分布与先验分布对齐，实现了任何固定的剪枝率的具体操作，并增强了设计的轻量级 GCN 的泛化性能。此外，MRMP 通过共享权重在多个 GCN 之间进行联合训练，以在任何目标剪枝率上外推准确的网络，而无需重新训练它们的权重。对基于骨骼的识别这一具有挑战性的任务进行的大量实验表明，我们的轻量级 GCN 在非常高的剪枝程度下有显著的性能提高。

    Dec, 2023

  • 具有拓扑一致剪枝的小型图卷积网络

    本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

    Jun, 2023

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022

  • 傅里叶分析引导的网络剪枝：基于频率的抽签获胜

    本文探讨基于傅里叶分析的 Magnitude-Based Pruning (MBP) 算法，在深度学习模型中进行网络压缩和模型设计，并提出了一种新颖的两阶段剪枝方法。实验结果表明，我们提出的基于傅里叶分析的 MBP 算法相比其他传统 MBP 算法具有优越性。

    Jan, 2022

  • 几何图卷积神经网络：Geom-GCN

    本文提出了一种新的基于几何学聚合的 aggregation 方案，包含三个模块：节点嵌入，结构化邻域和双层聚合，并将其实现到图卷积网络中，命名为 Geom-GCN。在多个开放数据集上的实验结果表明，Proposed Geom-GCN 已经达到了当前状态的最佳性能。

    Feb, 2020

  • 交叉栏感知神经网络剪枝

    该论文提出了一种基于 L0-norm 约束优化问题的交叉栏架构感知修剪框架，其中采用了 L0-norm 约束梯度下降（LGD）与弛豫概率投影（RPP）来寻找两个阶段的稀疏性，并提出了输入特征映射（FMs）重新排序方法来提高模型准确性。实验结果表明，该方法可在不降低准确性的情况下将交叉栏架开销减少 44％-72％，为在各种交叉栏架设备上映射 CNN 提供了一种高效的新型协同设计解决方案。

    Jul, 2018

  • 基于幅度注意力的动态剪枝

    本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 ImageNet 数据集上的表现比以前的裁剪方法更好。

    Jun, 2023

  • 全局稀疏约束下神经网络的有效稀疏化

    该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 ImageNet 等数据集上，尤其是在高剪枝率情况下超过现有的最先进方法。

    May, 2021

  • CGaP：连续增长和修剪以提高深度学习效率

    本文提出了 Continuous Growth and Pruning (CGaP) 方法，旨在在训练模型期间最小化冗余并从一开始便避免引入冗余，通过持续增长和修剪过程获取紧凑和准确的模型。根据实验结果，在代表性数据集和 DNN 结构上，CGaP 的效果优于以前的仅修剪预定义结构的方法，达到了参数减少 78.9％和 85.8％，FLOPs（浮点计算数）减少 53.2％和 74.2％。

    May, 2019

  • 概率重连的消息传递神经网络

    利用最近在精确和可微分的 k 子集采样中的进展，我们设计了一种概率重连的消息传递图神经网络（PR-MPNNs），该网络学习在省略不太有益的边的同时添加相关边。首次，我们的理论分析探索了 PR-MPNNs 如何增强表达能力，并且我们确定了它们优于纯随机方法的精确条件。经验证实，我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外，根据现有的真实世界数据集，我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。

    Oct, 2023