May, 2023

对模型压缩中数据增强的再探讨：一项实证和综合性研究

PDF
TL;DR本文研究深度图像神经网络模型压缩与数据增广之间的关系，发现不同大小的模型喜欢不同大小的增广，且可以通过预测已训练模型来度量数据增广的难度，从而提出更好的数据增广策略。
deep neural networksmodel compressiondata augmentationiterative pruningperformance
发现论文，激发创造
  • 自然语言任务上结合压缩的乘法尺度缩放

    本研究在六个 BERT 架构和八个 GLUE 任务上探究了神经网络压缩方法中的量化、知识蒸馏和幅度修剪，发现量化和知识蒸馏提供了比修剪更大的好处，同时多种方法的组合具有协同减小模型大小的效果。

    Aug, 2022

  • 模型压缩与对抗鲁棒性的关系：当前证据综述

    增加模型容量是增强深度学习网络对抗性鲁棒性的已知方法之一，而剪枝和量化等压缩技术则可以减小网络的大小同时保持准确性。本研究总结了现有证据并讨论了观察到的效果可能的解释。

    Nov, 2023

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 面向硬件特定的神经网络自动压缩技术

    使用强化学习方法的算法框架 Galen，可以自动压缩特定硬件目标的神经网络模型，不仅支持修剪、量化等压缩方法的联合搜索，还将目标硬件设备上的推理延迟作为优化目标，通过该方法能够将 CIFAR-10 上的 ResNet18 模型，在嵌入式 ARM 处理器上推理延迟仅为原始延迟的 20%，精度损失不大。

    Dec, 2022

  • 当小的更小时会发生什么？探究对小数据预训练语言模型进行压缩的影响

    压缩技术对小规模数据语言模型的效率和效果具有显著改善作用，证实了对大规模参数化模型的压缩效果的普遍观点同样适用于小规模数据模型。

    Apr, 2024

  • 模型压缩的失真率研究：从理论到实践

    本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

    Oct, 2018

  • 深度神经网络加速的修剪与量化：一份调查报告

    本文介绍了深度神经网络中两种压缩技术 —— 剪枝和量化，比较了它们的优劣，并且提出了相关的压缩网络的实用指南。

    Jan, 2021

  • Transformer 压缩综述

    在该研究中，作者通过综述了解压缩方法对 Transformer 模型在自然语言处理和计算机视觉领域的应用，并对修剪、量化等压缩方法进行了分类和讨论。

    Feb, 2024

  • 是否压缩：理解对抗攻击和神经网络压缩之间的相互作用

    通过实验，探究了压缩版和未压缩版深度神经网络对抗样本的传递性，并发现折叠模型生成的对抗样本对未压缩模型也很有效，但量化模型的传递性与整数精度高度敏感。

    Sep, 2018

  • 从算法到硬件：深度神经网络高效安全部署综述

    深度神经网络（DNNs）在许多人工智能（AI）任务中被广泛使用，为了解决其部署带来的巨大的内存、能量和计算成本挑战，研究人员开发了各种模型压缩技术，最近还有越来越多的研究关注定制化 DNN 硬件加速器以更好地利用模型压缩技术，此外，保护安全和隐私对于部署 DNNs 至关重要，我们的研究综述首先涵盖主流的模型压缩技术，如模型量化、模型修剪、知识蒸馏和非线性运算优化，然后介绍了设计可以适应高效模型压缩方法的硬件加速器的最新进展，此外，我们还讨论了如何将同态加密集成到安全 DNN 部署中，最后，我们讨论了硬件评估、泛化和各种压缩方法的集成等几个问题，总体来说，我们旨在从算法、硬件加速器和安全性角度提供高效 DNN 的整体概况。

    May, 2024