使用张量秩分解技术处理计算复杂度问题，使得能够更有效地对 Hidden Markov Models 和 Probabilistic Context-Free Grammars 进行因子图文法表示和推断。在语言建模和无监督语法分析任务上，相较于之前的方法有更好的表现。

May, 2022

低秩建模在信号处理和机器学习中扮演着关键的角色，本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法，其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。

Feb, 2018

提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

Oct, 2015

该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

Apr, 2017

提出一种新颖的方法来准确估算低秩和结构稀疏高维 VAR 模型中的网络 Granger 因果交互作用，该方法采用核范数和 lasso（或 group lasso）惩罚的组合正则化框架，证明了该方法的估计误差速率的非渐近性上界，并演示了该方法在合成和真实数据上的表现优于标准稀疏 VAR 估计。

Dec, 2018

通过生成上下文无关文法来组织矩阵分解模型以进行模型选择，使用小型可重用算法估计预测似然和推断潜在组件，通过贪心搜索自动选择分解结构。

Oct, 2012

近年来，大型语言模型（LLMs）在自然语言处理方面取得了重要进展，但其规模的增大增加了计算负担，需要在效率和性能之间取得平衡。为了解决 LLMs 中低秩压缩的挑战，我们对大模型的低秩特性进行了实证研究，并提出了一种适用于 LLMs 的低秩压缩方法，该方法通过汇总协方差矩阵的特征分布精确估计和贝叶斯优化策略来分配低秩维度。我们在 LLaMA-2 模型上的实验表明，我们的方法在相同的压缩比下比现有的强结构剪枝和低秩压缩技术表现更佳，能够保持模型的性能。

May, 2024

通过提出一种基于新型结构规范的通用框架，以及使用线性化的多块交替方向乘数法算法来高效地解决该问题，我们研究了从高维数据中估计稀疏、结构稀疏和密集组件的模型。在合成和实际数据集上的实验证实了这种方法的优越性。

Sep, 2016

该研究通过结构化剪枝方法，以低秩分解参数化权重矩阵并在训练过程中自适应地移除秩 1 分量，提高了大型语言模型的压缩效果和训练 / 推理速度，并展示了该方法可应用于 BERT 模型的下游 fine-tuning 分类。

Oct, 2019

通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

Dec, 2023