Dec, 2023

图卷积网络的一次性多速率剪枝

PDF
TL;DR我们提出了一种轻量级图卷积网络设计，称为 Multi-Rate Magnitude Pruning (MRMP)，它通过联合训练网络拓扑和权重来对网络进行训练。该方法是变分的，通过将学习网络的权重分布与先验分布对齐，实现了任何固定的剪枝率的具体操作，并增强了设计的轻量级 GCN 的泛化性能。此外，MRMP 通过共享权重在多个 GCN 之间进行联合训练，以在任何目标剪枝率上外推准确的网络，而无需重新训练它们的权重。对基于骨骼的识别这一具有挑战性的任务进行的大量实验表明，我们的轻量级 GCN 在非常高的剪枝程度下有显著的性能提高。
发现论文，激发创造
  • 利用概率形态剪枝进行预算感知的图卷积网络设计

    本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实验证明，轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。

    May, 2023

  • 具有拓扑一致剪枝的小型图卷积网络

    本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

    Jun, 2023

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022

  • GMP*：精心调整的逐步量化剪枝可优于绝大多数 BERT 剪枝方法

    本文重新考察了经典的逐渐减少幅度修剪（GMP）算法在大型语言模型，特别是 BERT 基准测试上的表现，发现一个简单通用的变量 GMP * 可以与更复杂的最新方法匹配或甚至超过其表现，结果为未来工作提供了简单但强大的基线。

    Oct, 2022

  • PR-GCN: 一种带有点细化的深度图卷积网络，用于六维姿态估计

    本研究提出了一种图卷积网络和点细化相结合的深度学习方法，并分别引入了 “Point Refinement Network（PRN）” 和 “Multi-Modal Fusion Graph Convolutional Network（MMF-GCN）” 进行 RGB-D 数据的联合处理，实验结果表明该方法在三个广为使用的基准测试上取得了最佳的性能表现，并可推广到其他框架。

    Aug, 2021

  • 利用多阶段图嵌入和强化学习的拓扑感知网络剪枝

    本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术，用于识别 DNN 的拓扑结构和寻找合适的压缩策略，实现模型压缩并获得更高的压缩比和竞争性的性能。

    Feb, 2021

  • 图修订卷积网络

    提出一种名为图修正卷积网络（GRCN）的框架，通过引入基于 GCN 的图修正模块来预测缺失边并在下游任务中进行边缘权重修正，以避免过度参数化或简单的重新加权观察到的边缘的问题，并且在六个基准数据集上的实验结果表明，与强基准方法相比，GRCN 始终表现出较大的优势，尤其是原始图严重不完整或用于模型训练的标记实例高度稀疏的情况。

    Nov, 2019

  • 通过对抗性权重修剪实现更高的排名

    卷积神经网络在边缘设备上部署困难，提出了一种基于排名的修剪方法（Rank-based PruninG），通过稀疏权重的高秩拓扑结构来实现高稀疏度，该方法在各种数据集和不同任务上验证了其有效性。

    Nov, 2023

  • 通过神经再生的增强修剪可塑性实现稀疏训练

    本论文研究了通过神经再生技术改进的渐进式剪枝算法（GraNet），它结合了取得与单次剪枝同等性能和训练 / 推理效率的优点，尤其是其稀疏 - 稀疏模式极大地提高了 ResNet-50 在 ImageNet 上的性能。

    Jun, 2021

  • 几何图卷积神经网络：Geom-GCN

    本文提出了一种新的基于几何学聚合的 aggregation 方案，包含三个模块：节点嵌入，结构化邻域和双层聚合，并将其实现到图卷积网络中，命名为 Geom-GCN。在多个开放数据集上的实验结果表明，Proposed Geom-GCN 已经达到了当前状态的最佳性能。

    Feb, 2020