Jul, 2023

YOLOv5 模型压缩方法综述

PDF
TL;DR通过分析网络剪枝和量化方法在 YOLOv5 上的应用实际结果，我们确定了在压缩 YOLOv5 方面采用剪枝和量化方法的适应性差距，并提供了未来在这个领域进一步探索的方向。
yolo object detectorsneural network compression methodsnetwork pruningquantizationyolov5
发现论文，激发创造
  • 计算机视觉压缩技术分析

    该研究探讨了在计算机视觉领域中压缩深度网络的三种基本技术，包括知识蒸馏，修剪和量化，以及将它们串联起来的有效方法，并使用 MNIST 和 CIFAR-10 数据集对它们进行了分析。

    May, 2023

  • 生物识别应用中的模型压缩技术综述

    深度学习算法在提高人类任务自动化能力方面发挥了重要作用，然而，这些模型性能的巨大提升与其日益复杂性高度相关，限制了它们在以人为本的应用中的实用性，而这些应用通常部署在资源受限的设备上。因此，我们需要压缩技术来大幅减小深度学习模型的计算和内存成本，同时又能保持较高的性能。本文通过对模型压缩技术的综述，特别关注量化、知识蒸馏和修剪等方法在生物特征识别应用中的应用，从而对该领域的研究现状进行了系统化总结。我们对这些技术的比较价值进行了关键分析，着重讨论了它们的优点和缺点，并提出了进一步研究方向的建议，以改进当前的方法。此外，我们还讨论和分析了模型偏见与模型压缩之间的联系，强调了未来的研究需要将压缩技术引向模型公平性的方向。

    Jan, 2024

  • 目标检测中的组通道修剪和空间注意力蒸馏

    本文提出了一种三阶段的模型压缩方法，即动态稀疏训练、组通道剪枝和空间关注蒸馏，可将目标检测网络的参数减少 64.7%、计算量减少 34.9%。

    Jun, 2023

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 深度神经网络加速的修剪与量化：一份调查报告

    本文介绍了深度神经网络中两种压缩技术 —— 剪枝和量化，比较了它们的优劣，并且提出了相关的压缩网络的实用指南。

    Jan, 2021

  • 使用单次剪枝量化压缩深度神经网络

    本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

    May, 2022

  • 通过两阶段深度强化学习进行深度模型压缩

    本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

    Dec, 2019

  • 面向硬件特定的神经网络自动压缩技术

    使用强化学习方法的算法框架 Galen，可以自动压缩特定硬件目标的神经网络模型，不仅支持修剪、量化等压缩方法的联合搜索，还将目标硬件设备上的推理延迟作为优化目标，通过该方法能够将 CIFAR-10 上的 ResNet18 模型，在嵌入式 ARM 处理器上推理延迟仅为原始延迟的 20%，精度损失不大。

    Dec, 2022

  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • Q-YOLO：实时目标检测的高效推理

    本研究描述了一种低位量化方法来构建一个高效的单级检测器，称为 Q-YOLO，有利于在资源受限的边缘设备上部署目标检测模型，从而实现减少计算和内存开销的实时检测。

    Jul, 2023