Dec, 2020

NPAS：一种面向编译器的统一网络剪枝和架构搜索框架，用于超越实时移动加速

HTML
PDF
TL;DR该研究提出了一种针对各种DNN层的精细结构修剪通用类别，并支持不同DNN和不同修剪方案的综合编译自动代码生成框架，进一步提出了一个编译器感知的网络修剪与架构搜索（NPAS)方法，利用基于强化学习的元模型过程解决大规模搜索空间问题，以获得比先前工作更好的手机图像分类性能。
发现论文，激发创造
  • DPP-Net: 设备感知渐进式搜索 Pareto-最优神经网络架构

    提出了一种名为DPP-Net的优化神经体系结构架构的方法，能够同时考虑设备相关和设备不相关目标，通过实验结果证明其在各种不同设备上比其他相似方法更有效。

    Jun, 2018

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的mAP质量。

    Jul, 2018

  • 通过二步剪枝改进深度学习设备-边缘合作推理

    本文提出了一种高效、灵活的 DNN 分区方法，通过迭代删除不重要的卷积层过滤器进行剪枝，从而减少移动设备的无线传输负担或总计算负担，并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明，与未剪枝的原始 DNN 模型相比，该框架在传输负载上可实现多达 25.6 倍的降低，总计算速度加快了 6.01 倍，端到端延迟降低了 4.81 倍。

    Mar, 2019

  • PCONV：DNN权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行

    介绍了新的稀疏度维度-粗粒度结构内的细粒度剪枝模式(PCONV)方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

    Sep, 2019

  • 使用基于模式的权重修剪在移动设备上实现实时深度神经网络执行

    该研究提出了一种新的维度——在粗粒度结构内使用细粒度裁剪，以达到在移动设备上高效执行深度神经网络的效果，并通过编译器进行优化，取得了良好的效果。

    Jan, 2020

  • 基于模型修剪和编译器优化在移动平台上实现实时 DNN 推理

    本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

    Apr, 2020

  • 在移动设备上实现3D卷积神经网络的实时执行

    该论文提出了RT3D框架，将神经网络权重修剪和编译器代码生成技术无缝集成，以实现3D CNN的模型压缩和移动加速。 RT3D在现有支持3D CNN的移动框架中实现了高达29.1倍的推理时间加速，具有适度的1％-1.5％准确度损失。

    Jul, 2020

  • 移动设备上的深度学习: 方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间-时间冗余的加速技术和系统设计。

    Apr, 2022

  • MobileNetV4 - 移动生态系统通用模型

    我们介绍了最新一代的MobileNets, 称为MobileNetV4 (MNv4), 具有超高效的移动设备架构设计。我们引入了Universal Inverted Bottleneck (UIB)搜索块，这是一种统一而灵活的结构，融合了Inverted Bottleneck (IB), ConvNext, Feed Forward Network (FFN), 以及一种新颖的Extra Depthwise (ExtraDW)变体。此外，我们还提出了Mobile MQA，一种专为移动加速器量身定制的注意力块，可实现39%的加速。同时，我们引入了优化的神经架构搜索（NAS）方法，提高了MNv4的搜索效率。UIB，Mobile MQA以及优化后的NAS方法的整合使得我们的MNv4模型成为大部分在移动CPU、DSP、GPU以及专用加速器（如Apple Neural Engine和Google Pixel EdgeTPU）上都达到Pareto最优的模型，这是其他模型不具备的特点。最后，为了进一步提高准确性，我们引入了一种新颖的蒸馏技术。利用这种技术增强，我们的MNv4-Hybrid-Large模型在Pixel 8 EdgeTPU上只需3.8ms的运行时间，达到了87%的ImageNet-1K准确性。

    Apr, 2024

  • SCAN-Edge：通过硬件感知进化搜索为多样化边缘设备寻找MobileNet速度混合网络

    本研究解决了为多种低成本边缘设备设计低延迟和高效率混合网络所面临的复杂性和成本问题。提出的SCAN-Edge是一种统一的神经架构搜索框架，通过硬件感知进化算法共同搜索自注意力、卷积和激活，以应对不同边缘设备的需求。实验表明，所提出的混合网络在各种商品边缘设备上与实际MobileNetV2的延迟表现一致，具有显著的实际应用潜力。

    Aug, 2024