DKM: 可微分 K 均值聚类层用于神经网络压缩

ICLRAug, 2021

DKM: 可微分 K 均值聚类层用于神经网络压缩

DKM: Differentiable K-Means Clustering Layer for Neural Network Compression

Minsik Cho, Keivan A. Vahid, Saurabh Adya, Mohammad Rastegari

TL;DR该论文提出了一种基于不同 iable k-means 聚类层的 DNN 模型压缩方法，可以在保持模型架构和原损失函数不变的情况下，获得较高的压缩率和模型精度。实验证明，该方法在图像识别和自然语言处理任务上表现出较好的效果。

Abstract

deep neural network (DNN) model compression for efficient on-device inference is becoming increasingly important to reduce memory requirements and keep user data on-device. To this end, we propose a novel differe

deep neural network model compression k-means clustering computer vision natural language processing

发现论文，激发创造

eDKM：一种高效准确的大型语言模型训练时权重聚类

提出了一种内存高效的 Differentiable KMeans Clustering 实现，eDKM，通过新技术降低 DKM 的内存占用量，成功将预训练的 LLaMA 7B 模型从 12.6 GB 压缩到 2.5 GB，并在广泛的 LLM 基准测试中提供良好的准确性。

Sep, 2023

IDKM：通过隐式、可微分 $k$ 均值实现内存高效神经网络量化

使用隐式可微分 k-means 算法（IDKM）和无雅可比传播（IDKM-JFB）的变种，在与同样设置下，IDKM 在更短的计算时间和较少的内存使用下实现与 DKM 相当的性能，并将其应用于无法在 DKM 上训练的 Resnet18 神经网络。

Dec, 2023

卷积深度核机器

深度核机器（DKMs）是一种最近引入的核方法，具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案，并且开发和实验评估了多种模型变体，包括针对卷积 DKMs 设计的 9 种不同类型的规范化方法、两种似然函数和两种不同类型的顶层。尽管训练时间只需要大约 28 个 GPU 小时，比完整的 NNGP/NTK/Myrtle 核函数快 1 到 2 个数量级，但结果模型在 MNIST 上达到约 99% 的测试准确率，在 CIFAR-10 上达到 92% 的准确率，在 CIFAR-100 上达到 71% 的准确率，同时实现了可比较的性能。

Sep, 2023

深度神经网络的 “无损” 压缩：一种高维度神经切向核方法

建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±1}。

Mar, 2024

PaCKD: 模式聚类知识蒸馏用于压缩内存访问预测模型

使用模式聚类知识蒸馏方法，我们提出了 PaCKD，这是一种压缩内存访问预测模型的方法，通过为每个分区训练大型模式特定的教师模型，然后从这些训练好的模式特定教师中提取知识训练一个单一轻量级的学生模型，以在保持预测性能的同时实现模型大小的 552 倍压缩。

Feb, 2024

可微分模型缩放的可微分 Topk

基于可微模型缩放的神经架构搜索方法能够提高搜索网络的效率并找到改进的结构，在不同任务和不同网络架构下具有一致的结果并超越了现有的神经架构搜索方法。

May, 2024

模型压缩的结构化多哈希技术

本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

Nov, 2019

深度 k - 均值：重新训练和参数共享，并使用更难的聚类分配来压缩深度卷积

本文提出了一种通过在卷积中应用 k-means 聚类来压缩卷积的简单而有效的方案，然后介绍了一种新颖的谱松弛 k-means 正则化方法；其结果表明在不损失准确性的情况下，Deep k-Means 在多个 CNN 模型中实现了更高的压缩比和更低的能耗。

Jun, 2018

一种紧凑型深度神经网络：实现接近 GoogLeNet 分类和领域自适应的精度

本文介绍了一种基于新型模块 Conv-M 的超轻量级深度神经网络，该神经网络在不降低单数据集分类精度的前提下，提高了领域自适应 (DA) 任务的准确性，通过无监督的 DA 方法，在提高模型 invariance 同时，也适应了标签预测。该神经网络仅有 410 万参数，是 AlexNet 的 6.7％或 GoogLeNet 的 59％，并在常见的 Office-31 和 Office-Caltech 数据集上达到了 18 个 DA 任务中的 16 个的最新最佳水平。

Mar, 2017

深度神经网络模型压缩与加速综述

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017