Apr, 2023

JaxPruner：用于稀疏度研究的简洁库

PDF
TL;DR本论文介绍了一种基于 JAX 的裁剪和稀疏训练库 JaxPruner，旨在通过提供流行的裁剪和稀疏训练算法的简洁实现，减少内存和延迟开销，从而加速稀疏神经网络的研究，此外，JaxPruner 的算法使用公共 API，并与流行的优化库 Optax 无缝配合，使其易于与现有的基于 JAX 的库集成。本论文提供了四个不同代码库的示例，并在流行的基准测试上提供了基准实验。
pruningsparse trainingjaxmachine learningoptimization
发现论文，激发创造
  • 利用稀疏性在剪枝神经网络中优化大模型训练

    本文提出利用稀疏子网络以优化内存利用和通信的方法来加速深度学习中的数据和层间并行算法，并将其融入 AxoNN，实验证明在 512 NVIDIA V100 GPU 上，相比于 AxoNN，DeepSpeed-3D 和 Sputnik，优化后的模型内存消耗减少了 74％，总通信时间减少了 40％，从而提供了 34％的总体加速。

    Feb, 2023

  • Pruner: 高效的跨平台张量编译器

    基于硬件和软件的深度学习加速器张量程序优化方法 Pruner，通过参数化静态分析器（PSA）和模式感知成本模型（PaCM）实现硬件感知性能分析和关键数据流模式的预测，再结合 Siamese 网络的动量迁移学习（MTL）策略以提高预训练成本模型的鲁棒性。丰富的实验结果表明，Pruner 在在线和离线场景的各种张量程序调整任务中具有高效性、先进性和低资源开销。

    Feb, 2024

  • 神经修剪：一种用于大型语言模型的基于神经网络的拓扑稀疏训练算法

    基于 Transformers 的语言模型在自然语言处理中表现出色，但训练和推理仍然是一个重要的障碍。我们通过神经网络的角度来探索稀疏性方法，利用生物网络中的机制，如优先连接和冗余突触修剪，展示了基于模型的稀疏性方法在多样的 NLP 任务中表现出色，并且在训练时间上可快速到 10 倍，同时在许多情况下推理时间也有明显的改善。

    Feb, 2024

  • TextPruner: 预训练语言模型的模型剪切工具包

    本文介绍了 TextPruner，这是一个开源模型剪枝工具包，旨在为预训练语言模型提供快速和简便的模型压缩方法，包括词汇和转换器剪枝等结构化的后训练剪枝方法，并提出了一种自监督剪枝方法，可以节约模型尺寸，而无需重新训练模型。其应用能够用于各种模型和任务，并在多项 NLP 任务中展现出压缩模型大小的能力。

    Mar, 2022

  • ONNXPruner：基于 ONNX 的通用模型剪枝适配器

    通过使用 ONNXPruner 适配器，我们提出了一种多功能的剪枝方法，该方法可以适用于不同的深度学习框架和硬件平台，通过使用节点关联树来指导剪枝过程，并通过树级评估方法进行全面分析，从而提高剪枝性能。

    Apr, 2024

  • 使用 PyTorch 简化 Tensor 和网络剪枝

    本文介绍了 PyTorch 中 torch.nn.utils.prune 模块的新扩展，提供了共享的、开源的剪枝功能，以便在模型训练前、中、后减小模型的大小和容量，帮助减少资源有限设备上部署快速、可持续、私密的模型的技术难度。

    Apr, 2020

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • 深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

    本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

    Jan, 2021

  • SPDY：具有加速保证的精确裁剪

    SPDY 是一种新的压缩方法，自动确定逐层稀疏度目标并最小化精度损失，从而实现所需的推理加速度，并且在流行的视觉和语言模型上表现良好。

    Jan, 2022

  • 具备稀疏约束的端到端网络剪枝流程

    神经网络稀疏化通过减少模型大小、计算复杂度和内存占用的同时保持竞争性能，成为在资源受限设备上部署的有效技术。本研究开发了适应神经网络稀疏化的全程训练流程，利用非标准模型参数初始化、预修剪训练方法和后修剪训练优化等技术，实现了显著提升于当前最先进的神经网络稀疏化方法的效果。

    Dec, 2023