关于分类的分布式量化

Nov, 2019

On Distributed Quantization for Classification

Osama A. Hanna, Yahya H. Ezzeldin, Tara Sadjadpour, Christina Fragouli, Suhas Diggavi

TL;DR本文提出了一种分布式量化方案，旨在用训练数据为分类器设计量化器，不需要先验数据假设，而是专注于正确分类，可在任何特征数、任何类别数和任意特征分布的情况下进行多项式时间量化算法的设计。结果表明，将量化器适应于分类任务可以获得显着的节省，并可在保持预测精度不变的情况下将比特通信数量减少超过两倍。

Abstract

We consider the problem of distributed feature quantization, where the goal is to enable a pretrained classifier at a central node to carry out its classification on features that are gathered from distributed nodes through communication constrained channels. We propose the design of d

distributed feature quantization communication constraints training data quantization algorithms classification task

发现论文，激发创造

正则化分类感知量化

本文提出了一种正则化分类感知量化的算法，该算法通过在重构误差上进行正则化 0-1 损失，用于二元分类任务，性能比文献中的基准量化方案更优，并能在未见数据上快速处理。

Jul, 2021

离散神经网络的松弛量化

本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

Oct, 2018

基于蒸馏和量化的模型压缩

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018

通过分块特征编码实现分布式量子神经网络

通过将特征分布在多个小型量子神经网络并利用其期望值的集成生成预测，我们的研究表明分布式量子神经网络是与近期量子设备兼容的实用量子机器学习算法的有希望的方向，其不仅对大型数据集实现高准确率的预测，而且还降低了每个量子神经网络的硬件需求。

Dec, 2023

网络量化的特征量化蒸馏

神经网络量化是通过使用低比特近似来加速和剪裁全精度神经网络模型的过程。本文提出了一种新颖且高效的量化感知训练方法，即量化特征蒸馏（QFD），通过首先训练一个量化（或二值化）的教师表示，然后使用知识蒸馏（KD）来量化网络。定量结果表明，QFD 比之前的量化方法更加灵活和有效（即量化友好），在图像分类和目标检测任务上明显优于现有方法，同时又更为简单。此外，QFD 对 MS-COCO detection 和 segmentation 中的 ViT 和 Swin-Transformer 进行了量化验证，从而验证了其在实际部署中的潜力。据我们所知，这是第一次将视觉变换器量化应用于目标检测和图像分割任务。

Jul, 2023

分布式 SGD 的截断非均匀量化

为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析，为其性能提供了理论保证。此外，通过最小化收敛误差，我们推导出了在给定通信约束下的截断阈值和非均匀量化水平的最优闭式解。理论洞察力和广泛的实验评估表明，我们的算法优于现有的量化方案，在通信效率和收敛性能之间达到了更优的平衡。

Feb, 2024

相似性搜索的扩散向量

该研究提出了一种基于神经网络的反向数据量化策略，通过在神经网络最后一层形成预定义超球体点的无参数量化器，训练神经网络来实现对数据进行适配的目标；通过 Kozachenko-Leonenko 差分熵估计器导出新的正则化项来强制实现数据空间内的均匀性，并进行本地特性感知的 Triplet Loss，实验结果表明这种方法的性能优于大多数方法，与现有的最佳方法相当。

Jun, 2018

超分辨率网络后量化的分布灵活子集量化

该论文介绍了一种名为 DFSQ 的后训练量化方法，以优化超分辨率网络，通过对激活进行通道归一化并应用分布灵活的子集量化（SQ）策略来缩短量化点的选择时间，并提出了一种快速的 K-means 聚类量化点选择策略。DFSQ 在保留各种超分辨率模型的性能的同时，大大放宽了通用集合大小的时间成本约束。

May, 2023

分布式优化中的量化规避鞍点

分布式非凸优化的研究中，我们发现量化过程可以用于避免收敛到鞍点，通过提出一种随机量化方案，证明其可以有效地避开鞍点并确保收敛到分布式非凸优化中的二阶稳定点，实验证实了这一方法的有效性，并通过对基准数据集上的分布式优化和学习问题进行了数值实验结果验证。

Mar, 2024

深度神经网络快速部署的量化技术

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018