BinaryRelax: 一种松弛算法，用于训练量化权重的深度神经网络

Jan, 2018

BinaryRelax: 一种松弛算法，用于训练量化权重的深度神经网络

BinaryRelax: A Relaxation Approach For Training Deep Neural Networks With Quantized Weights

Penghang Yin, Shuai Zhang, Jiancheng Lyu, Stanley Osher, Yingyong Qi...

TL;DR该论文提出了一种名为 BinaryRelax 的算法，用于训练具有量化权重的深度神经网络，该方法使用 Moreau 包络将硬约束放宽为连续正则化器，并通过逐步调整正则化参数将权重推向量化状态，经过在 CIFAR 和 ImageNet 基准数据集上的实验，表明该算法在训练效果方面具有优越性。

Abstract

We propose binaryrelax, a simple two-phase algorithm, for training deep neural networks with quantized weights. The set constraint that characterizes the quantization of weights is not imposed until the late stag

binaryrelax quantized weights deep neural networks moreau envelope training methods

发现论文，激发创造

离散神经网络的松弛量化

本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

Oct, 2018

概率性权重修正：用于量化的神经网络权重不确定性的大规模训练

该论文提出了一种基于贝叶斯神经网络（BNNs）和变分松弛的概率性框架，用于确定可以将哪些权重转移到哪个聚类中心以及在多大程度上，以提高权重共享量化方法的压缩性能和准确性。

Sep, 2023

深度网络的损失感知权重量化

本文考虑使用权重量化压缩深度网络，将最近提出的有损权重二值化方案推广到三值化，并在前馈和循环神经网络上进行实验，发现该方案优于现有的权重量化算法，精度与全精度网络相当或更高。

Feb, 2018

模型压缩作为约束优化的一种形式，以神经网络为例。第二部分：量化

通过使用带有 K 个条目的码簿进行实值权重的量化，我们提出了一种新方法，该方法基于模型压缩作为约束优化框架，交替进行连续权重的网络学习和权重量化（或二值化 / 三值化）的步骤，以便在量化网络的损失上收敛到局部最优解。

Jul, 2017

深度神经网络后训练分段线性量化

本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。

Jan, 2020

EQ-Net：弹性量化神经网络

本文提出一种名为 Elastic Quantization Neural Networks（EQ-Net）的一次性网络量化方案，旨在训练鲁棒的权重共享量化超网络。我们探索了一种弹性量化空间，并提出了权重分布正则化损失（WDR-Loss）和群体渐进引导损失（GPG-Loss）以解决弹性量化空间间隙中权重和输出逻辑的分布不一致问题。最后，我们结合了遗传算法和条件量化感知准确性预测器（CQAP），快速搜索超网络中混合精度量化的神经网络。大量实验证明，我们的 EQ-Net 几乎与或甚至更好地超过了静态对应物以及最先进的鲁棒位宽方法。

Aug, 2023

正则化二进制网络训练

本文提出了一种新的正则化函数和可训练缩放因子的二进制训练方法，通过改进梯度下降算法中的反向传播计算，在 ImageNet 数据集上比传统二进制神经网络和 XNOR-net 有更好的性能表现。

Dec, 2018

低比特宽度权重和激活的卷积神经网络有效训练

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019

利用截断高斯近似同时优化三值神经网络的权重和量化器

本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

Oct, 2018

BitNet: 比特正则化深度神经网络

BitNet 是一种基于 Minimum Description Length (MDL) 原则，通过动态限制网络参数的可取范围和值，优化训练神经网络的方法，在 MNIST 和 CIFAR-10 数据集上通过优化实数值翻译和缩放因子以及任意精度整型参数，BitNet 比等效的非正则化模型更快地收敛生成了质量更高且内存消耗更小的模型。

Aug, 2017