May, 2022

FCN-Pose: 简化与量化的 CNN 用于约束设备机器人姿态估计

PDF
TL;DR本研究提出一种基于压缩技术的新型卷积神经网络 (CNN)，通过修剪 (pruning) 和量化 (quantization) 技术降低其对计算和存储资源的需求。研究运行在机械臂姿态估计任务中，结果显示修剪 70% 后，参数和 FLOPS 的需求分别减少 88.86％和 94.45％，即使在高负载情况下高端设备的响应时间显着改善，输入图像处理速度从 11.71 FPS 提高到 41.9 FPS，而使用受限设备时，图像处理速度也提高了从 2.86 FPS 到 10.04 FPS。
iot devicesdeep learningcompressionpruningquantization
发现论文，激发创造
  • 复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

    本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

    Aug, 2022

  • 深度网络剪枝：关于人脸识别中 CNN 的比较研究

    通过深度网络剪枝等方法，对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩，以实现移动设备上的可靠且实时的人脸识别。

    May, 2024

  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • 通过两阶段深度强化学习进行深度模型压缩

    本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

    Dec, 2019

  • 基于物理启发的修剪 - 量化联合学习准则

    通过将弹性动力学与模型压缩进行类比，提出了一个新颖的物理启发准则，用于修剪 - 量化联合学习，实现在资源受限的边缘设备上部署深度神经网络。实验证明，该准则在精度和位操作（BOPs）压缩比之间取得了良好的折中，例如，在 CIFAR10 上对 ResNet56 的位操作压缩比为 54.96 倍，并且只有 0.10％的精度下降。

    Dec, 2023

  • FPGA 资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

    Nov, 2021

  • CascadeCNN：将量化在卷积神经网络中的性能极限推至极致

    CascadeCNN 是一个自动化工具流程，用于推动任何给定的 CNN 模型的量化极限，旨在进行高吞吐率推理。通过在级联中使用低 - 高精度单元以及置信度评估单元，实现对任何给定的 CNN-FPGA 配对的定制。实验证明，所提出的工具流程在相同的资源预算和准确性下，可以使 VGG-16 的性能提升高达 55％，AlexNet 的性能提升高达 48％，而无需重新训练模型或访问训练数据。

    Jul, 2018

  • 稀疏卷积神经网络的聚焦量化

    本文提出一种基于二次幂值的、专注于稀疏 CNN 的量化策略，并结合无损编码构建一种高压缩比、计算成本低、准确率几乎无损的压缩管线，在 ResNet-50 网络上实现 18.08x CR 的压缩效果，同时也证明更硬件有效。

    Mar, 2019