ECCVJan, 2020

面向移动设备实时推理的基于图案的稀疏度图像增强

PDF
TL;DR介绍了一种新的基于模式的稀疏性方法，该方法包括模式和连接度稀疏性，旨在通过权重剪枝同时提高模型准确度和硬件加速性能，并提供了一种针对移动设备的高效 DNN 执行的解决方案。
weight pruningdeep neural networkspattern-based sparsityaccuracy enhancementmobile platforms
发现论文，激发创造
  • 使用基于模式的权重修剪在移动设备上实现实时深度神经网络执行

    该研究提出了一种新的维度 —— 在粗粒度结构内使用细粒度裁剪，以达到在移动设备上高效执行深度神经网络的效果，并通过编译器进行优化，取得了良好的效果。

    Jan, 2020

  • PCONV：DNN 权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行

    介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

    Sep, 2019

  • PCNN: 面向 CNN 加速器优化的基于模式的细粒度正则剪枝

    PCNN 是一种细粒度 1D 修剪模型的技术，使用 SPM 编码 PCNN 中的稀疏性，实现在硬件中高效应用，并在 VGG-16 和 ResNet-18 上实现 8.4 倍的压缩率和仅 0.2% 的精度损失，同时在 55nm 工艺中实现了高达 9.0 倍的加速和 28.39 TOPS/W 的效率以及不到 3.1% 的芯片内存开销。

    Feb, 2020

  • 基于模型修剪和编译器优化在移动平台上实现实时 DNN 推理

    本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

    Apr, 2020

  • 在 GPU 上实现高效的 DNN 推断的平衡稀疏性

    本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

    Nov, 2018

  • 通过划分稀疏矩阵块提高无硬件支持的稀疏 DNN 模型加速

    本文提出了一种算法 - 软件共同设计的剪枝方法，采用 “分块友好” 的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在 GPU 笔记本上成功地实现了 1.95 倍速度提升的优化效果。

    Aug, 2020

  • SPDY：具有加速保证的精确裁剪

    SPDY 是一种新的压缩方法，自动确定逐层稀疏度目标并最小化精度损失，从而实现所需的推理加速度，并且在流行的视觉和语言模型上表现良好。

    Jan, 2022

  • SparseByteNN：一种基于细粒度分组稀疏性的新型移动推理加速框架

    为了解决网络规模增大的挑战，研究者通过网络剪枝开发了稀疏模型。然而，在通用计算设备上实现显著加速的同时保持模型准确性仍然是一个未解决的问题。在本文中，我们提出了一种新颖的移动推理加速框架 SparseByteNN，通过利用细粒度的内核稀疏性实现实时执行和高准确性。我们的框架包括两个部分：（a）一种细粒度的内核稀疏模式，其稀疏粒度介于结构化剪枝和非结构化剪枝之间。它为不同操作器设计了多种稀疏模式。结合我们提出的整体网络重新排列策略，该模式同时实现高压缩率和高精度。（b）与稀疏模式共同优化的推理引擎。常理认为，这种理论上的 FLOPs 减少并不能转化为真实世界的效率提升。我们旨在通过引入一族针对 ARM 和 WebAssembly 的高效稀疏内核来纠正这种误解。通过我们对稀疏原语的高效实现，我们展示了 MobileNet-v1 的稀疏版本在效率 - 准确性曲线上胜过性能强大且密集的基线模型。Qualcomm 855 的实验结果表明，对于 30％稀疏的 MobileNet-v1，SparseByteNN 相对于密集版本获得了 1.27 倍的加速，并相对于最先进的稀疏推理引擎 MNN 获得了 1.29 倍的加速，准确性略有下降，下降了 0.224％。SparseByteNN 的源代码将在此 https URL 上提供。

    Oct, 2023

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020