乌贼：无需所有调整的低秩模型训练

May, 2023

乌贼：无需所有调整的低秩模型训练

Cuttlefish: Low-rank Model Training without All The Tuning

Hongyi Wang, Saurabh Agarwal, Pongsakorn U-chupala, Yoshiki Tanaka, Eric P. Xing...

TL;DR提出了一种名为 Cuttlefish 的自动低秩训练方法，它通过观察在完整秩训练的几个时期后，每层的稳定秩（即真实秩的近似值）稳定为一个常数值，从而消除了调整低秩模型训练中的多个超参数的需求。Cuttlefish 在所有层的稳定秩收敛后从完整秩训练切换到低秩训练，并将每个因子化的维度设置为其相应的稳定秩。结果表明，Cuttlefish 生成的模型比完整秩模型小多达 5.6 倍，并达到了 1.2 倍的更快的端到端训练过程，同时保持相当的准确性，在低秩模型训练和其他著名基线模型中表现出色。

Abstract

Recent research has shown that training low-rank neural networks can effectively reduce the total number of trainable parameters without sacrificing predictive accuracy, resulting in end-to-end speedups. However,

low-rank neural networks cuttlefish factorization hyperparameters end-to-end speedups stable rank

发现论文，激发创造

训练期间自适应排名谱剪枝卷积层

本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

May, 2023

高效深度神经网络的训练排名剪枝

本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。

Dec, 2018

基于低秩矩阵分解的文本分类在线嵌入压缩

本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

Nov, 2018

利用矩阵分解对循环神经网络进行压缩

基于训练后的秩选择方法 Rank-Tuning，结合训练适应性，我们的方法能够实现高压缩率而无性能损失或性能损失较小，数值实验结果表明，我们可以将循环神经网络压缩至最多 14 倍，最多相对性能降低 1.4%。

Oct, 2023

ELRT: 高效低秩训练用于紧凑卷积神经网络

通过识别适当的低秩格式和性能改进策略，本文提出了 ELRT，一种高准确性、高紧凑性、低秩 CNN 模型的高效低秩训练解决方案。

Jan, 2024

高效深度神经网络的训练等级裁剪

文章提出了一种名为 TRP 的方法，该方法可以将低秩逼近和正则化融入神经网络模型的训练过程中，通过使用随机次梯度下降优化核范数来促进 TRP 中的低秩，从而消除低秩逼近后的微调，并在 CIFAR-10 和 ImageNet 上显着优于以前使用低秩逼近的对比方法。

Oct, 2019

通过近似正交约束的鲁棒低秩训练

介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

Jun, 2023

不同方式叠加更多层：通过低秩更新进行高秩训练

本文探讨了低秩训练技术作为训练大型神经网络的替代方法，介绍了一种名为 ReLoRA 的新方法，并将其应用于多达 350M 参数的预训练 transformer 语言模型的训练，并证明了与常规神经网络训练相当的性能。与此同时，我们发现 ReLoRA 的效率随着模型大小的增加而增加，这使其成为高效训练多十亿参数网络的有前途的方法。我们的发现揭示了低秩训练技术的潜力及其对缩放定律的影响。

Jul, 2023

基于矩阵微分方程的低秩神经网络高效发现：低秩彩票

本文提出了一种利用低秩子网提高神经网络效率的算法，该算法在训练期间已经 determined and adapted the subnetworks，从而大幅减少了训练和评估所需的时间和内存资源，并通过数值实验验证了该算法的高效性。

May, 2022

卷积神经网络参数的动态等级剪枝压缩

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024