IDKM：通过隐式、可微分 $k$ 均值实现内存高效神经网络量化

Dec, 2023

IDKM：通过隐式、可微分 $k$ 均值实现内存高效神经网络量化

IDKM: Memory Efficient Neural Network Quantization via Implicit, Differentiable $k$-Means

Sean Jaffe, Ambuj K. Singh, Francesco Bullo

TL;DR使用隐式可微分 k-means 算法（IDKM）和无雅可比传播（IDKM-JFB）的变种，在与同样设置下，IDKM 在更短的计算时间和较少的内存使用下实现与 DKM 相当的性能，并将其应用于无法在 DKM 上训练的 Resnet18 神经网络。

Abstract

Compressing large neural networks with minimal performance loss is crucial to enabling their deployment on edge devices. (Cho et al., 2022) proposed a weight quantization method that uses an attention-based clustering algorithm called differentiable $k$-means (DKM). Despite achieving s

neural networks weight quantization differentiable k-means memory complexity idkm

发现论文，激发创造

DKM: 可微分 K 均值聚类层用于神经网络压缩

该论文提出了一种基于不同 iable k-means 聚类层的 DNN 模型压缩方法，可以在保持模型架构和原损失函数不变的情况下，获得较高的压缩率和模型精度。实验证明，该方法在图像识别和自然语言处理任务上表现出较好的效果。

Aug, 2021

eDKM：一种高效准确的大型语言模型训练时权重聚类

提出了一种内存高效的 Differentiable KMeans Clustering 实现，eDKM，通过新技术降低 DKM 的内存占用量，成功将预训练的 LLaMA 7B 模型从 12.6 GB 压缩到 2.5 GB，并在广泛的 LLM 基准测试中提供良好的准确性。

Sep, 2023

DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

Jul, 2020

QKD：量化知识蒸馏

本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

Nov, 2019

深度神经网络的 “无损” 压缩：一种高维度神经切向核方法

建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±1}。

Mar, 2024

通过可共同学习的码书和映射压缩网络的内存占用

通过量化、码书和联合可学习码书等方法，本文提出了一种有效的深度神经网络近似方法，使得 Llama 7B 网络可以在 5 年前的智能手机上以 2GB 的内存占用进行加载。

Sep, 2023

深度 k - 均值：重新训练和参数共享，并使用更难的聚类分配来压缩深度卷积

本文提出了一种通过在卷积中应用 k-means 聚类来压缩卷积的简单而有效的方案，然后介绍了一种新颖的谱松弛 k-means 正则化方法；其结果表明在不损失准确性的情况下，Deep k-Means 在多个 CNN 模型中实现了更高的压缩比和更低的能耗。

Jun, 2018

AutoQ: 自动化的基于内核的神经网络量化

本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ，可以自动搜索每个权重核的量化位宽，以及每个激活层的另一个量化位宽，并极大地提高了卷积神经网络的推断性能，同时保持了推断精度。

Feb, 2019

基于平衡 k 均值的不均衡数据聚类

平衡 K-means（EKM）是一种新颖且简单的 K-means 类型算法，通过减少大簇中心聚集的趋势，在不平衡数据上显著改善聚类结果。该论文还介绍了 HKM、FKM 和 EKM 的统一视角，展示它们本质上是梯度下降算法，并与牛顿法有明确的关系。通过将高维数据映射到低维、适合 EKM 的空间，使用 EKM 进行深度聚类可在不平衡数据上将聚类准确性提高 35%。

Feb, 2024

基于产品量化码的亿级别聚类算法 (PQk-means)

本文研究针对大规模数据的聚类问题，提出一种基于短 PQ 码的高效聚类方法 PQk-means，能在低内存消耗下进行高维度向量的聚类，并在实验上获得了较好的结果。

Sep, 2017