DiverGet：基于搜索的深度神经网络量化评估软件测试方法

Jul, 2022

DiverGet：基于搜索的深度神经网络量化评估软件测试方法

DiverGet: A Search-Based Software Testing Approach for Deep Neural Network Quantization Assessment

Ahmed Haj Yahmed, Houssem Ben Braiek, Foutse Khomh, Sonia Bouzidi, Rania Zaatour

TL;DR本文提出基于搜索的 DiverGet 测试框架，通过定义一组模拟数据失真的变形关系空间，优化地探索这些关系来揭示不同算术精度的 DNN 之间的差异，对 Hyperspectral Remote Sensing 图像的最新 DNN 进行评估，结果表明 DiverGet 成功挑战了已有的量化技术对自然发生的平移数据的鲁棒性，优于其最近的竞争对手 DiffChaser。

Abstract

quantization is one of the most applied Deep Neural Network (DNN) compression strategies, when deploying a trained DNN model on an embedded system or a cell phone. This is owing to its simplicity and adaptability to a wide range of applications and circumstances, as opposed to specific

quantization dnn compression testing framework metamorphic relations remote sensing

发现论文，激发创造

数据集量化

用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

Aug, 2023

DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

Jul, 2020

量化模型行为特征和可靠部署的理解和表征

本文详细研究量化模型的行为特征，通过考虑 4 个跨越图像到文本的数据集，8 种深度学习网络架构，以及包含合成和自然分布转移的 42 个转移集，揭示出在看不见的数据上的行为特征，同时指出量化训练可以产生更稳定的模型，$Margin$ 是 quantized 模型中不确定性度量的更好指标.

Apr, 2022

深度神经网络自适应量化

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

QuanTest: 量子神经网络系统的纠缠引导测试

Quantum Neural Network (QNN) systems face challenges in testing due to their differences from classical DL systems, therefore this paper proposes QuanTest, a quantum entanglement-guided adversarial testing framework to uncover potential erroneous behaviors in QNN systems.

Feb, 2024

基于蒸馏和量化的模型压缩

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018

深度神经网络快速部署的量化技术

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018

通过支撑和质量均衡设计三元神经网络量化的强基准线

本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

Jun, 2023

深度神经网络压缩的可微细粒度量化

本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

Oct, 2018

大卫与歌利亚：QNNs 在深度边缘的攻击和防御的实证评估

边缘计算和微控制器 (MCUs) 上的量化和对抗示例在深度边缘上的有效性进行了实证评估。量化增加了决策边界的点距离，并导致某些攻击估计的梯度爆炸或消失，同时量化能够增强或减弱噪声，导致梯度失调。尽管输入预处理防御在小扰动上效果显著，但在扰动增加时表现不佳，而基于训练的防御方法可以增加决策边界的平均点距，并且在量化后仍然有效，但我们认为基于训练的防御仍需解决量化偏移和梯度失调的问题以对抗对 QNNs 的敌对示例可迁移性。

Apr, 2024