通过低维度学习动力学高效压缩超参数化深度模型

Nov, 2023

通过低维度学习动力学高效压缩超参数化深度模型

Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics

Soo Min Kwon, Zekai Zhang, Dogyoon Song, Laura Balzano, Qing Qu

TL;DR通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。

Abstract

overparameterized models have proven to be powerful tools for solving various machine learning tasks. However, overparameterization often leads to a substantial increase in computational and memory costs, which in turn requires extensive resources to train. In this work, we aim to redu

overparameterized models learning dynamics compression deep linear models training process

发现论文，激发创造

深度超参数低秩学习与调整中的可压缩动力学

通过利用数据的固有低维结构和模型参数的可压缩动力学，我们展示了优化和泛化方面的超参数化的好处，而无需增加计算负担。在深度低秩矩阵补全和微调语言模型的实践中，我们证明了这种方法的有效性，同时保留了超参数化对性能的优势。

Jun, 2024

深度网络压缩感知训练

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017

模型压缩中过参数化的可证益处：从双峰下降到神经网络修剪

本文分析了过参数化模型剪枝中的双重下降现象，提出了在某些情况下，训练大型模型再进行剪枝比仅使用已知信息更好的理论证明，同时也发现了重新训练的好处以及在线性和随机特征模型中已经存在这些现象，这进一步促进了高维分析工具的发展。

Dec, 2020

深度神经网络模型压缩与加速综述

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017

模型压缩的结构化多哈希技术

本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

Nov, 2019

使用 PCA 的低投入结构化 CNN 设计方法

该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

Dec, 2018

重新思考压缩：大型语言模型中潜在特征的简化建模

通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

Dec, 2023

卷积神经网络参数的动态等级剪枝压缩

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024

更多即更少：通过过度参数化诱导稀疏性

研究了深度学习模型过度参数化和随机梯度下降的泛化能力现象，探讨了稀疏恢复的情况，提出了一种相应的超参数化均方误差损失函数，证明了该函数的梯度下降可以收敛到最小 L1 范数的好近似解。

Dec, 2021

通过矩阵乘积运算符对深度神经网络进行压缩

本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。

Apr, 2019