- MiLoRA: 利用次要奇异分量进行参数高效的 LLM 微调
在本文中，我们提出了一种名为 MiLoRA 的简单而有效的 LLM 微调方法，仅更新权重矩阵的次要奇异部分，而保持主要奇异部分不变，以便在微调期间最大限度地利用较少优化的子空间来学习微调数据集。通过对常识推理、数学推理和指令跟踪基准的广泛实 - 基于凸化的离散感知矩阵补全的 l₀- 范数逼近
在结构化环境下，本文提出了一种改进的低秩矩阵补全方法，通过引入离散字母表集合，使用基于连续可微函数的分数规划方法规范离散性，从而比现有方法和基于 L1 范数的离散感知矩阵补全方法具有更好的性能。
- EMNLP通过低秩重参数化分解的提示调整
通过低秩矩阵来初始化软提示以减少可训练参数数量并保持有效性，进而提出分解式提示调优方法，并在高资源和低资源场景下的 SuperGLUE 基准实验结果表明了该方法的有效性。
- DePT: 分解式提示调整用于参数高效微调
通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效 - InRank: 增量低秩学习
该研究提出了渐进式低秩学习技术，通过一个新的训练算法 InRank 来改进神经网络的训练，使得神经网络参数化后低秩化，以此提高计算效率并在 WikiText-103 上训练 GPT-Medium 模型时分别实现了 20% 的减少训练时间和 - 分布式深度学习梯度压缩的评估与优化
本研究提出了一种名为 ACP-SGD 的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与 S-SGD 相比，优化后的 ACP-SGD 在减少压缩和通信开支的同时，能够实现相似的模型准确性。
- 基于采样的次线性低秩矩阵算法框架来去量子化量子机器学习
提出了一种基于量子思想的经典算法框架，用于解决接近低秩矩阵问题并快速实现量子算法的经典版本，证明了量子 SVT 框架并不能提供指数级的速度提升，并给出了该框架的多种经典化结果。
- AAAI基于协同矩阵分解的多视角多实例多标签学习
本研究提出了一种基于协作矩阵分解的解决方案，称为 M3Lcmf，该方法使用异构网络编码不同类型的关系，探索包、实例和标签之间的潜在关系，并选择性地合并数据矩阵，进一步引入聚合方案，将实例级标签聚合到包级别，并指导分解，实验结果表明，在实例级 - 基于量子理论的低秩随机回归，其维度对数依赖性
本论文构建了一个高效的量子矩阵反演算法（HHL）的经典模拟器，基于 Tang 的最近研究成果，通过对输入数据进行长度平方采样，实现了低秩矩阵的伪逆并使用快速抽样技术从问题 $Ax=b$ 的解中采样。本文通过子采样来找到 $A$ 的近似奇异值 - ACLSkip-Gram 负采样的黎曼优化
本文提出一种基于黎曼优化的算法，有效优化 Skip-Gram Negative Sampling（SGNS）词嵌入模型，与传统方法和基于 SPPMI 矩阵的 SVD 相比表现更优。
- 低秩矩阵线性恢复的随机方差减少梯度下降
本研究探讨通过非凸优化从线性测量（即矩阵感知）中估计低秩矩阵的问题，并建议了一种有效的随机方差减少梯度下降算法来解决此问题。我们的算法适用于有噪声和无噪声的情况。在有噪声的情况下，我们证明了该算法在最小化统计误差方面以线性速率收敛于未知低秩 - 非凸低秩矩阵估计的统一计算与统计框架
提出了一种基于梯度下降算法的非凸优化的低秩矩阵估计的统一框架，其通用性很强，可应用于噪声和无噪声观测，算法能够线性收敛到未知低秩矩阵的最小最优统计误差，同时也能够以线性速率收敛到未知低秩矩阵，并以最优样本复杂度实现精确恢复。
- MM非稀疏低秩矩阵的量子奇异值分解
本文介绍了一种在量子计算机上求解非稀疏非定秩矩阵指数的方法，可以在量子机制下得到奇异值及相关奇异向量的值，同时求解时所需的时间远远快于已知的传统算法。本方法针对非厄米和非方阵也适用，并讨论了最短的等距矩阵问题。
- 对称秩一矩阵估计的互信息：复制公式的证明
该论文研究如何采用严谨的方法证明低秩矩阵的对称秩一情况的互信息，进而表达最小均方误差和表征检测相位转变；同时介绍了一种被称为近似消息传递的迭代算法在贝叶斯最优条件下的优越性，并提出了通用的解决其他问题的方法。
- 关于半定规划中同步和社区检测问题的低秩方法
为了解决困难的优化问题，使用基于半定规划的凸松弛在很多领域已经很普遍。本文关注同步和社区检测问题，提供理论保证，阐明低秩矩阵启发式方法的显着效率。
- 不完整观测下低秩矩阵恢复概述
本文综述了利用低秩结构在信号处理和机器学习中进行矩阵恢复的现代方法，重点介绍了实践中最常用的算法，这些算法的现有理论保证以及这些技术的代表性实践应用。
- 在矩阵子空间中发现低秩基
本文提出了一种贪心算法来解决高秩矩阵子空间中低秩矩阵的基问题，并比较了其与其他方法的优劣，进而可应用于数据压缩，计算近多重特征值的精确特征向量，图像分离和图马拉锡算子的特征值问题。
- 使用低秩字典追踪技术恢复连贯数据
研究表明，当数据具有高相干性时，常规的 RPCA 方法表现不佳。使用低秩表示（LRR）能够缓解这一问题，并且当字典本身是低秩的时，LRR 更能有效地处理相干数据。作者设计了一种无监督环境下获取适当字典的实用算法，并在随机生成的矩阵上进行广泛 - ROP: 通过秩一投影进行矩阵恢复
本文介绍了一种针对低秩矩阵恢复的秩 - 1 投影模型并提出了一种受约束的核范数最小化方法，该方法能够适应不同秩的矩阵并对细微扰动具有强鲁棒性，同时通过引入上下界对其精度进行了数学证明。此外，该方法对解决其他相关的统计问题具有启示作用。最后， - 奇异值的最优硬阈值为 4/sqrt (3)
通过奇异值的硬阈值处理，从噪声数据中恢复低秩矩阵，其中奇异值小于预设阈值 λ 的数值被设置为 0。我们在矩阵大小远大于需要恢复的矩阵秩的情况下研究了它的渐近 MSE，并且发现一个优化的硬阈值选择规则，它适用于未知秩和未知噪声水平，并表现为所