一种紧凑型深度神经网络：实现接近 GoogLeNet 分类和领域自适应的精度

CVPRMar, 2017

一种紧凑型深度神经网络：实现接近 GoogLeNet 分类和领域自适应的精度

A Compact DNN: Approaching GoogLeNet-Level Accuracy of Classification and Domain Adaptation

Chunpeng Wu, Wei Wen, Tariq Afzal, Yongmei Zhang, Yiran Chen...

TL;DR本文介绍了一种基于新型模块 Conv-M 的超轻量级深度神经网络，该神经网络在不降低单数据集分类精度的前提下，提高了领域自适应 (DA) 任务的准确性，通过无监督的 DA 方法，在提高模型 invariance 同时，也适应了标签预测。该神经网络仅有 410 万参数，是 AlexNet 的 6.7％或 GoogLeNet 的 59％，并在常见的 Office-31 和 Office-Caltech 数据集上达到了 18 个 DA 任务中的 16 个的最新最佳水平。

Abstract

Recently, dnn model compression based on network architecture design, e.g., SqueezeNet, attracted a lot attention. No accuracy drop on image classification is observed on these extremely compact networks, compared to well-known models. An emerging question, however, is whether these mo

dnn model compression domain adaptation compact network architecture unsupervised learning feature extractors

发现论文，激发创造

SqueezeNet: 50 倍减少参数和 < 0.5MB 模型大小，达到 AlexNet 级别的准确性

该研究提出了一种名为 SqueezeNet 的小型深度神经网络结构，采用模型压缩技术，其参数数量不到 AlexNet 的 50 倍，在 ImageNet 数据集上实现了与 AlexNet 相当的精度，压缩后小于 0.5MB。

Feb, 2016

深度神经网络模型压缩与加速综述

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017

基于压缩域的深度神经网络可视识别技术与特征适应

本文提出一种基于学习的压缩域分类框架，可以在不同比特率下利用压缩域潜在表示执行视觉识别，包括引入轻量级注意模型的新型特征适应模块，它可以自适应地强调和增强提取的逐通道信息的关键特征；还介绍了一种适配训练策略，使用预训练的像素域权重。与使用像素域完全解码的压缩图像以及未压缩图像相比，研究结果表明，提出的压缩域分类模型不仅可以显著优于现有的压缩域分类模型，而且在计算效率方面也可以获得与使用完全解码图像的像素域模型相似的精确度结果。

May, 2023

领域自适应的深度网络压缩

本文研究深度神经网络在领域迁移后的压缩问题，提出一种基于低秩矩阵分解的压缩算法，结合目标域的激活统计信息，在不降低模型性能的情况下将模型参数量压缩至传统技术的 5-20%。

Sep, 2017

一个胜利的手：压缩深度网络可以提高对抗分布鲁棒性

文章介绍了一种用 Lottery Ticket 方法产生紧凑、精确、稳健的神经网络模型的方法，并构建了基于该方法的测试时间集成方法 CARD-Decks，在 RobustBench 上实现了新的最优性能。

Jun, 2021

通过两阶段深度强化学习进行深度模型压缩

本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

Dec, 2019

面向移动应用的快速低功耗深度卷积神经网络压缩

提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015

深度神经网络压缩调研：挑战，概述和解决方案

该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。

Oct, 2020

LayerCollapse：神经网络的自适应压缩

利用 LayerCollapse 方法进行适应性模型压缩，通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换，同时减少层数和参数数量，提高模型效率；引入压缩感知正则化器，根据数据集质量和模型表现压缩模型，减少过拟合；实验证明 LayerCollapse 在多个细粒度分类基准测试中实现有效的压缩和正则化，最高在训练后压缩 74% 但准确度损失最小；与知识蒸馏方法对比，在 ImageNet 数据集上计算效率提高五倍，整体准确度提高 8%。

Nov, 2023

深度神经网络在线压缩

本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

Sep, 2015