基于模型等价评估的前馈神经网络的压缩修复

Feb, 2024

基于模型等价评估的前馈神经网络的压缩修复

Compression Repair for Feedforward Neural Networks Based on Model Equivalence Evaluation

Zihao Mo, Yejiang Yang, Shuaizheng Lu, Weiming Xiang

TL;DR我们提出了一种基于两个神经网络的等价评估的修复压缩前馈神经网络的方法，通过计算两个神经网络之间的输出差异来刻画由压缩过程产生的输出差异，并使用这个差异来初始化一个新的训练集以减小神经网络间的差异并提高压缩网络的性能，然后通过重新训练该训练集来修复压缩前馈神经网络，并在 MNIST 数据集上应用我们提出的修复方法来展示其有效性和优势。

Abstract

In this paper, we propose a method of repairing compressed Feedforward Neural Networks (FNNs) based on equivalence evaluation of two neural networks. In the repairing framework, a novel neural network equivalence evalua

compressed feedforward neural networks equivalence evaluation output discrepancy repairing method mnist dataset

发现论文，激发创造

QNNRepair：量化神经网络修复

QNNRepair 是一种用于修复量化神经网络的方法，通过软件故障定位方法识别神经元并将修复问题转化为线性规划问题，以纠正 QNN 在失败测试中的表现，并在不损害其通过测试中的表现的情况下，解决神经元权重参数的问题。实验证明，与现有方法相比，QNNRepair 可在大多数情况下有效提高量化模型的性能，特别适用于 ImageNet 数据集。

Jun, 2023

神经网络模型压缩的保证量化误差计算

本文介绍了一种神经网络压缩技术方法，建立了一个混合神经网络，由一个前馈神经网络和其量化版本组成，通过优化和可达性分析方法计算了保证的量化误差。数值例子验证了该方法的适用性和有效性。

Apr, 2023

自压缩神经网络

本文介绍了一种称为 Self-Compression 的方法，可以移除神经网络中的冗余参数和减少表示权重所需的位数，从而简化网络结构，提高训练和推断效率。作者通过实验证明，使用 Self-Compression 方法可以在只保留网络中 18% 的权重和仅需 3% 的位数的条件下，还能实现浮点数的准确性。

Jan, 2023

透過递归神经网络实施全解析度图像压缩

通过神经网络构建一套高效率图像压缩方法，新架构由编码器、解码器、二值化器和熵编码神经网络组成，可变压缩比率，能在感知度量上对 JPEG 进行改善，并取得了最好的表现。

Aug, 2016

CNNs 压缩的评估指标

本文旨在通过提供评估指标的综述，为神经网络压缩的标准化做出贡献，并将这些指标实现到一个名为 NetZIP 的标准化神经网络压缩平台中，在三个案例研究中展示了一些指标，分别聚焦于对象分类、对象检测和边缘设备。

May, 2023

改进的贝叶斯压缩

本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

Nov, 2017

用于快速模型推理的神经网络压缩框架

该论文提出了一个新的神经网络压缩框架 NNCF，它基于当前各种网络压缩方法进行改进，如稀疏化、量化和二值化。这些方法可以加速推理时间，同时保持原有的准确性。NNCF 可作为训练样本或单独的软件包供使用，并且可以无缝地集成到现有的训练代码中。

Feb, 2020

利用多阶段图嵌入和强化学习的拓扑感知网络剪枝

本篇文章提出了一种基于图神经网络和强化学习的多阶段图嵌入技术，用于识别 DNN 的拓扑结构和寻找合适的压缩策略，实现模型压缩并获得更高的压缩比和竞争性的性能。

Feb, 2021

张量神经网络：神经网络的泛化和模型压缩应用

该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

May, 2018

神经网络量化的近端均场方法

本文研究了将神经网络量化作为离散标记问题，并通过检查松弛度，设计了一种有效的迭代优化过程。我们的实验表明，我们的算法可以获得准确度非常接近浮点参考网络的完全量化网络。

Dec, 2018