Feb, 2019

具有对抗性鲁棒性的模型压缩：一个统一优化框架

PDF
TL;DR通过 Adversarially Trained Model Compression (ATMC) 框架，将剪枝、因子分解和量化等现有压缩方法整合到一个受约束的优化公式中，实现了在保持模型准确性和鲁棒性的前提下，获得更好的模型尺寸和准确性折衷。
deep model compressionadversarially trained model compressionrobustnessoptimizationmodel sizeaccuracy
发现论文，激发创造
  • 模型压缩与对抗鲁棒性的关系：当前证据综述

    增加模型容量是增强深度学习网络对抗性鲁棒性的已知方法之一，而剪枝和量化等压缩技术则可以减小网络的大小同时保持准确性。本研究总结了现有证据并讨论了观察到的效果可能的解释。

    Nov, 2023

  • 压缩深度学习模型对抗鲁棒性基准测试

    对于基础模型在受挫折性输入下的修剪版本的影响进行了研究，发现在提升普适性、压缩和更快的推断时间方面，模型压缩虽然具有其独特的优势，但不会削弱对抗性鲁棒性。

    Aug, 2023

  • 压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

    探讨深度学习中模型压缩方法对对抗鲁棒性的影响，发现压缩不会导致模型损失鲁棒性，而对压缩模型进行对抗微调可以显著提高鲁棒性性能并改善计算效率。

    Mar, 2024

  • 对抗鲁棒性与模型压缩，还是两者兼顾？

    本文提出了一种并发对抗训练和权重修剪的框架，可以在保持对抗鲁棒性的情况下实现模型压缩，同时解决对抗训练的困境，并进一步研究了关于传统设置下的权重修剪的两个假设。

    Mar, 2019

  • 一种用于稳健学习图像压缩的无训练防御框架

    通过基于简单图像转换函数的非训练型防御技术，研究了学习型图像压缩模型在面对对抗攻击时的稳健性，并提出了一种简单但有效的双向压缩算法，可方便地应用于现有的图像压缩模型，并且在保留对干净图像模型的原始失真率性能的同时，无需额外的训练或修改现有模型，更加实用。

    Jan, 2024

  • 移动设备模型压缩和加速的 AutoML

    本文介绍了使用强化学习算法构建的自动化神经网络模型压缩方法 ——AutoML for Model Compression（AMC），该方法在保持模型准确性的同时，相较于传统的基于规则的压缩方法，具有更高的压缩比，从而实现了在性能和精度之间的最优平衡，并将此方法成功应用于 MobileNet 优化。

    Feb, 2018

  • 对抗性网络压缩

    本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

    Mar, 2018

  • GAN 瘦身：通过统一的优化框架实现全能的 GAN 压缩

    该研究提出了一个名为 GAN Slimming 的统一优化框架，将多种压缩方法与 GAN 最小二乘目标组合在一起，相比现有选项在压缩图像转换 GAN 方面表现优异，其中包括模型蒸馏，通道修剪和量化等几种主流压缩技术。

    Aug, 2020

  • AutoMC：基于领域知识和渐进搜索策略的自动模型压缩

    本研究提出了一种名为 AutoMC 的自动工具，用于模型压缩，通过建立模型压缩领域的专业知识，结合历史评估信息，采用渐进式搜索策略探索 pareto 最优压缩方案，并在短时间内提供令人满意的压缩方案。

    Jan, 2022

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021