CNNs 压缩的评估指标

May, 2023

Evaluation Metrics for CNNs Compression

Abanoub Ghobrial, Dieter Balemans, Hamid Asgari, Phil Reiter, Kerstin Eder

TL;DR本文旨在通过提供评估指标的综述，为神经网络压缩的标准化做出贡献，并将这些指标实现到一个名为 NetZIP 的标准化神经网络压缩平台中，在三个案例研究中展示了一些指标，分别聚焦于对象分类、对象检测和边缘设备。

Abstract

There is a lot of research effort devoted by researcher into developing different techniques for neural networks compression, yet the community seems to lack standardised ways of evaluating and comparing between different compression techniques, which is key to identifying the most suitable compression technique for different applications. In this paper we c

neural network compression evaluation metrics netzip object classification edge devices

发现论文，激发创造

卷积神经网络结构压缩的分类与评估

简介神经网络压缩，分类不同压缩方法，探讨张量分解和概率压缩等技术，研究证明 SVD 和概率压缩或修剪方法最优。

Dec, 2019

端到端有损图像压缩学习：一个基准

该论文对学习图像压缩方法进行了全面的文献综述，并提出了一种基于粗到细超先验模型的熵估计和信号重建方法，以提高图像压缩的效率和性能。

Feb, 2020

计算机视觉压缩技术分析

该研究探讨了在计算机视觉领域中压缩深度网络的三种基本技术，包括知识蒸馏，修剪和量化，以及将它们串联起来的有效方法，并使用 MNIST 和 CIFAR-10 数据集对它们进行了分析。

May, 2023

计算效率高的神经图像压缩

通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

Dec, 2019

深度学习中 JPEG 压缩缺陷的分析和缓解

本文研究了 JPEG 压缩对常见计算机视觉任务和数据集的影响，发现高度压缩会显著损害图像识别性能，进而尝试采取几种方法来缓解该损害，其中包括一种不需标签训练的基于伪影校正的新方法。

Nov, 2020

深度神经网络压缩调研：挑战，概述和解决方案

该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

Oct, 2020

神经数据压缩简介

本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

Feb, 2022

压缩链：组合压缩卷积神经网络的系统方法

卷积神经网络模型压缩是一项重要研究，通过量化、修剪和知识蒸馏等方法可以显著降低计算成本并保持准确性。

Mar, 2024

基于神经网络的图像和视频压缩技术综述

本文系统、全面地回顾了基于神经网络的图像和视频压缩技术的发展现状及未来趋势。特别是，介绍了通过深度学习和 HEVC 框架实现的先进视频编码技术，并回顾了基于神经网络的端到端图像和视频编码框架，展示了他们在生成高效率信号表示结构方面的探索和未来的研究趋势。

Apr, 2019

自压缩神经网络

本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Jan, 2023