Jan, 2024

面向边缘设备的压缩网络对分布转移的鲁棒性

PDF
TL;DR压缩网络在面对域转移和对抗扰动时的稳健性较原始网络较低，较大的网络比较小的网络更容易丧失稳健性，知识蒸馏得到的紧凑网络在面对域转移时比剪枝网络更稳健，后训练量化是一种可靠的方法，能显著提高稳健性，胜过剪枝和蒸馏模型的稳健性。
efficient dnnscompressed networksrobustnessdistribution shiftspost-training quantization
发现论文，激发创造
  • 深度学习压缩中的迁移能力鲁棒性

    本文介绍了两种增强深度神经网络压缩系统鲁棒性的方法，采用分布鲁棒优化和结构化潜在代码进行训练，取得较传统深度神经网络压缩器更优的效果。

    Oct, 2021

  • 是否压缩：理解对抗攻击和神经网络压缩之间的相互作用

    通过实验，探究了压缩版和未压缩版深度神经网络对抗样本的传递性，并发现折叠模型生成的对抗样本对未压缩模型也很有效，但量化模型的传递性与整数精度高度敏感。

    Sep, 2018

  • 量化模型行为特征和可靠部署的理解和表征

    本文详细研究量化模型的行为特征，通过考虑 4 个跨越图像到文本的数据集，8 种深度学习网络架构，以及包含合成和自然分布转移的 42 个转移集，揭示出在看不见的数据上的行为特征，同时指出量化训练可以产生更稳定的模型，$Margin$ 是 quantized 模型中不确定性度量的更好指标.

    Apr, 2022

  • 对于分布转移下的对抗鲁棒性的通用性

    本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

    Sep, 2022

  • 压缩深度学习模型对抗鲁棒性基准测试

    对于基础模型在受挫折性输入下的修剪版本的影响进行了研究，发现在提升普适性、压缩和更快的推断时间方面，模型压缩虽然具有其独特的优势，但不会削弱对抗性鲁棒性。

    Aug, 2023

  • 利用深度量化神经网络提高对抗攻击的鲁棒性

    该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

    Apr, 2023

  • 压缩神经网络的对抗微调：强化鲁棒性和效率的联合改善

    探讨深度学习中模型压缩方法对对抗鲁棒性的影响，发现压缩不会导致模型损失鲁棒性，而对压缩模型进行对抗微调可以显著提高鲁棒性性能并改善计算效率。

    Mar, 2024

  • 紧凑且稳健的深度神经网络

    本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。

    Jun, 2019

  • 模型压缩与对抗鲁棒性的关系：当前证据综述

    增加模型容量是增强深度学习网络对抗性鲁棒性的已知方法之一，而剪枝和量化等压缩技术则可以减小网络的大小同时保持准确性。本研究总结了现有证据并讨论了观察到的效果可能的解释。

    Nov, 2023

  • 压缩模型通用攻击的鲁棒性和可转移性

    本文研究神经网络压缩、优化技术如剪枝、量化对抗攻击的影响，并比较分析了压缩模型与未压缩模型的对抗攻击鲁棒性，发现不同压缩方法存在差异，并且不同应用具有不同表现。

    Dec, 2020