提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015

通过将 Low-rank Deconvolution（LRD）与微分正则化相结合，提出了一种在信号恢复任务中与 Deep Learning（DL）框架、如 Deep Image Prior（DIP）或 Blind-Spot Networks（BSN）以及其他经典方法相竞争的分析模型，该模型在图像降噪和视频增强等任务中表现出显著的性能，在同时性能较好的同时也拥有较小的计算消耗。

Jun, 2024

通过利用数据的固有低维结构和模型参数的可压缩动力学，我们展示了优化和泛化方面的超参数化的好处，而无需增加计算负担。在深度低秩矩阵补全和微调语言模型的实践中，我们证明了这种方法的有效性，同时保留了超参数化对性能的优势。

Jun, 2024

本文研究深度神经网络在领域迁移后的压缩问题，提出一种基于低秩矩阵分解的压缩算法，结合目标域的激活统计信息，在不降低模型性能的情况下将模型参数量压缩至传统技术的 5-20%。

Sep, 2017

本文提出了一种基于隐含低秩特征提取的双重转换矩阵学习方法，通过在两个方向上将学习的主要和显著特征共同投影到标签空间中，从而避免了单个转换矩阵在处理数据时太过严格所限制的灵活性。实验表明，我们的方法对于处理分类任务特别是在复杂情景下的样本降维有着良好的效果。

Jan, 2022

通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

Dec, 2023

通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

Jan, 2024

我们提出了一种基于减少存储量直接张量环分解（RSDTR）的新型低秩 CNN 压缩方法，该方法具有更高的循环模排列灵活性，并以较大的参数和 FLOPS 压缩率为特点，同时保持压缩网络的良好分类准确性。与其他最先进的 CNN 压缩方法相比，对 CIFAR-10 和 ImageNet 数据集进行的实验证明了 RSDTR 的高效性。

May, 2024

本研究提出了一种基于低秩变换学习的健壮子空间聚类和分类框架，其中学习的线性转换通过其凸替代核范数作为优化标准来恢复来自相同子空间的数据的低秩结构，并同时在来自不同子空间的数据之间强制产生最大分离结构，以实现更稳健的子空间聚类。所提出的框架通过大量实验表明，能够显着提高现有子空间聚类和分类方法的性能。

Sep, 2013

本研究论文介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和使用奇异值截断来促进低秩性，并且在推理时无需改变结构或进行额外的优化，通过实验证明了其有效性，并与其他主流结构剪枝方法相比在 FLOPs 和参数减少方面取得了竞争性或 SOTA 结果。

May, 2024