Dec, 2023

探索图转换中的稀疏性

PDF
TL;DR研究论文简介：为解决图形变换器（GTs）的高计算成本问题，在现有 GT 模型特征的基础上探索了图形变换器稀疏化的可行性，并提出了一个能够减少 GTs 计算复杂度的综合框架（GTSP），通过实验验证该框架能有效降低计算成本，同时在精度上只有微弱的降低或甚至有所提升。
graph transformersgtssparsifying gtsgraph transformer sparsificationcomputational complexity
发现论文，激发创造
  • 稀疏化对于 Transformer 和 Graph 神经网络在 TSP 中的重要性

    对于旅行推销员问题 (TSP) 进行路由问题的研究中，提出了一种数据预处理方法，使用图稀疏化和注意力掩码来将编码器聚焦于 TSP 实例的关键部分，实验结果显示，适当的图稀疏化和注意力掩码方法可以显著提高整体架构的性能。

    Mar, 2024

  • GOHSP：视觉 Transformer 的图结构和基于优化的异构结构剪枝统一框架

    本文提出了 GOHSP，一个统一的基于图形和优化的结构化剪枝框架，用于基于 ViT 模型的计算机视觉任务的参数压缩，达到了优秀的剪枝效果，例如，在 CIFAR-10 数据集上，使用本文的方法可以将 ViT-Small 模型的参数减少 40％，并不会损失准确性，在 ImageNet 数据集上，使用本文的方法，DeiT-Tiny 和 DeiT-Small 模型可以获得比现有的结构化剪枝方法更高的准确性。

    Jan, 2023

  • SGHormer：一种由脉冲驱动的节能图转换器

    基于脉冲神经元的图形转换器（SGHormer）通过稀疏和二值化脉冲将全精度嵌入转化为稀疏和二值化脉冲，以降低内存和计算成本，并在 SGHormer 中的脉冲图自注意力和脉冲纠正块中明确捕获全局结构信息和恢复脉冲嵌入的表达能力。实验证明，SGHormer 在极低的计算能耗下实现了可比较的性能，从而在低能量图形转换领域取得了显著进展。

    Mar, 2024

  • 双核重任：通过语义和拓扑意识增强图稀疏训练

    图稀疏训练（GST）提出了一种动态调整数据层稀疏度的方法，通过 Equilibria Sparsification Principle 来实现拓扑和语义信息的平衡，从而产生一个具有最大拓扑完整性且没有性能下降的稀疏图。

    Feb, 2024

  • 基于子空间投影的 Transformer 压缩

    我们提出了 TCSP，这是一种新颖的用于压缩 transformer 模型的方法，通过减少模型的隐藏层大小。

    Aug, 2023

  • SPT：使用稀疏化高效微调基于 Transformer 的语言模型

    我们提出了 SPT 系统，通过引入稀疏性来高效地微调基于 Transformers 的模型，减少内存消耗，并且在各种模型配置上优于优化的基准模型，将峰值内存消耗降低了多达 50%，加速微调速度高达 2.2 倍。

    Dec, 2023

  • SliceGPT：通过删除行和列来压缩大型语言模型

    SliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。

    Jan, 2024

  • SparseGPT：一次修剪即可在大型语言模型上进行精准压缩

    本文提出了一种名为 SparseGPT 的新型剪枝方法，能够高效、准确地应用于海量的 GPT 模型，实现一次性稀疏化至少 50％，并在几乎不影响困惑度的情况下，将最大可用的开源模型 OPT-175B 和 BLOOM-176B 稀疏化至 60％。

    Jan, 2023

  • 稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架

    SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

    Nov, 2023

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022