ICLRNov, 2021

像素蝴蝶：稀疏训练神经网络模型的简单高效方法

PDF
TL;DR该研究提出了一种名为 Pixelated Butterfly 的稀疏模型训练方法，通过优化连续超集上的蝶式矩阵，采用简单的蝶式块和低秩矩阵稀疏化网络层，使训练速度提高 3 倍，并在 ImageNet 分类和 WikiText-103 语言建模任务中，使稀疏模型的训练速度比密集的 MLP-Mixer、Vision Transformer 和 GPT-2 medium 提高了 2.5 倍，而且精确度并未下降
overparameterized neural networkssparse model trainingcontinuous supersetpixelated butterflyaccuracy-efficiency tradeoffs
发现论文，激发创造
  • 提升推理速度：蝶式稀疏矩阵乘法的高效 GPU 内存管理

    通过一项全面的基准测试，本研究评估了目前 GPU 上用于蝶形稀疏矩阵乘法算法的现状，旨在为用户提供一个简单的工具来选择最佳算法实现。结果显示现有实现在内存重写操作上耗费了总运行时间的高达 50％。同时，引入一种新的 CUDA 核心可以优化这些内存操作，最多可以使计算速度提高 1.4 倍，降低能耗 0.85 倍。我们还展示了新核心的广泛意义，以其加速神经网络的推断。

    May, 2024

  • 大规模的真正稀疏神经网络

    本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

    Feb, 2021

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • Monarch: 高效准确训练的表达性结构矩阵

    提出了一种硬件高效且表现力强的矩阵类别（Monarch），用于训练和微调稀疏或密集的神经网络，可在多个应用中实现加速训练的目的，并且具有可比拟的模型质量。

    Apr, 2022

  • Feather: 一种高效 DNN 稀疏化的优雅解决方案

    利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 ResNet-50 体系结构实现了最新的 Top-1 验证准确性，超过了现有方法，并且具有显著的优势，包括更复杂和计算量较大的方法。

    Oct, 2023

  • 为卷积网络设计 BERT: 稀疏和分级掩码建模

    本论文通过采用稀疏卷积和分层解码器等新技术，将 BERT - 风格的预训练方法推广到卷积神经网络领域，并且在 ResNet 和 ConvNeXt 等模型上进行了验证，在目标检测和实例分割等任务中，优于当前最先进的对比学习和变换器掩模建模方法。

    Jan, 2023

  • 使用任何掩码更好地训练您的稀疏神经网络

    本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

    Jun, 2022

  • 维度混合器：深度神经网络中结构稀疏性的通用方法

    研究了多个神经架构之间的相似性和差异性，通过对耦合流与蝴蝶变换的研究，提出了非线性蝴蝶混合器，包括 Butterfly MLP 和 Butterfly Attention，证明了它们在处理不同维度的输入上的高效性和可扩展性。

    Nov, 2023

  • SBNet: 用于快速推断的稀疏块网络

    本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

    Jan, 2018

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023