- 贝叶斯 - LoRA：使用最佳量化水平和等级值通过可微分贝叶斯门进行参数高效微调的基于 LoRA 的方法
在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为 B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在 GLUE 基 - 基于备忘录增量训练的加速字符串键学习索引结构
通过矩阵分解技术，新开发了一种算法硬件协同设计的字符串键学习索引系统 SIA，通过增量训练方案和 FPGA 加速器，大大提高了检索性能。
- 大型语言模型的零数据压缩和降噪
基于大型语言模型的权重分解以及压缩方法，通过新的无需语料库参与、保持正交性的数据无关联 Rank-k 近似方法，成功压缩了 80% 的参数并保留了原始性能的 93.43%。同时，对经过 Rank-k 近似的权重矩阵进行了深入研究以验证假设。
- 通过矩阵分解的视觉 Transformer 剪枝
通过使用矩阵分解实现视觉转换器修剪，该论文进一步在保留重要特征的基础上，比较了多种矩阵分解方法，最终选择奇异值分解作为降维和计算复杂度减少的方法，通过与原准确率得分进行比较实现目标。
- 利用大语言模型优化小数据集的 Few-shot 推理表现
本研究提出了一种名为 Prompt Space 的新的有效方法，利用文本嵌入来获取基向量并构建表示所有提示的空间，成功解决当前方法缺乏理论基础的问题，取得了在十个公共推理基准上的显著优异表现，为在 LLMs 中进行简单而有效提示的选择提供了 - DELMAR: 人脑深度线性矩阵近似重构提取分层功能连接性
提出了一种新的深度矩阵分解技术 DELMAR，用于分析人脑功能连接的层次关系，可以自动估计超参数，采用矩阵反向传播减少累积误差，并引入正交投影来更新所有变量，实验证明其能够比其他同类方法更快、更准确地识别 fMRI 信号中的空间特征，并能收 - ACL黄金未必总是发光的：线性和非线性受保护属性信息的光谱去除
该研究介绍了一种简单有效的方法，称为 SAL，它使用矩阵分解将输入向量投影到与守卫信息减少协方差的方向上，从而达到去除神经表示中的私密信息的目的。这种方法也适用于非线性信息去除，且其实验结果表明该算法将主要任务性能与去除守卫信息后的性能相比 - ICLR注意力机制胜于矩阵分解吗？
通过将全局上下文建模问题视为低秩恢复问题，将 MD 模型作为解决方案以低成本、高效的方式优于现有的注意机制，特别是自注意机制，在解决先前无法解决的全局性任务上具有广泛应用，特别是在计算机视觉上。
- ICML单遍逐元素变换低秩逼近
本文提出了一种用于矩阵分解且只需一次通过矩阵的内部即可完成的内存高效算法，并且在同样类似于 Liang et al. 所研究的函数 $f$ 的条件下，误差显著减小，还提出了应用于回归问题的算法，并通过实验证明了其结果的正确性。
- KDD时变图信号分解
提出了一种基于字典的时间图信号分解框架（TGSD），可以处理来自真实世界中的多个不同领域的时间序列数据， 并且通过结合时间和图形字典来学习数据的联合编码，实现了丢失数据的处理和提高时间插值性能.
- ICLR通过矩阵分解重新审视动态卷积
文章介绍了一种基于矩阵分解的新视角来重新考虑动态卷积的局限性，提出一种动态通道融合的方法来替代对通道组进行动态关注以解决优化问题，并降低了潜在空间的维数，从而减少了参数数量并且不影响准确性。
- 解剖 Hessian：理解神经网络中 Hessian 的共同结构
本论文探讨了神经网络的 Loss Surface 的 Hessian 特性，提出了层级 Hessian 的分解假设，分析了这些小矩阵的特性并证明了随机 2 层神经网络的前几个特征空间结构，同时讨论了不同模型的前 k 个特征空间有非常高的重叠 - 利用神经网络参数化的协方差矩阵低秩加稀疏分解
该论文研究了将正半定矩阵分解为给定秩矩阵和稀疏矩阵之和的方法，并提出了使用深度神经网络参数化适当大小的矩形矩阵表示解的低秩部分的方法，该方法在投资组合优化中有应用。作者使用梯度下降算法优化神经网络参数，并证明了收敛速度多项式增长。
- 基于压缩的循环神经网络用于高效语言建模
本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数 - 自动求导的线性代数
介绍了如何将一些矩阵分解运算（如 Cholesky、LQ 和对称特征值分解）实现为可微分操作符，并将其在 MXNet 上实现。这使得许多基本的机器学习原语（如高斯过程、最小二乘估计、主成分分析和卡尔曼平滑）易于实现并与深度神经网络（DNN） - 通过幺正对角化分解实方阵
本文介绍了矩阵对角化中的一些重要概念，探讨了只有正交对角矩阵具有谱分解的证明，并证明了所有实方阵都可通过正交相似化为实数部分相同的正交矩阵。
- 通过低秩和稀疏矩阵分解实现鲁棒旋转同步
该研究提出了一种针对 3D 点集和运动结构中出现的旋转同步问题的低秩和稀疏矩阵分解及最小化策略 R-GoDec，并在模拟和实际数据中对其性能进行验证，实验结果表明 R-GoDec 是最快的鲁棒性算法之一。
- NIPS大规模最大范数正则化在线优化
本文提出了一种在线算法，通过将最大规范化重构为等效的矩阵分解形式，可以在处理大型数据时保持基础组件的记忆，并对每个样本的基础组件和系数进行交替优化，证明了该算法的解序列渐近地收敛于期望损失函数的稳态点。
- NIPS高维情况下的多步随机 ADMM：稀疏优化和嘈杂矩阵分解应用
本文介绍了一种基于 epoch-based 退火的高维优化算法 ADMM，其可以用于稀疏优化问题和矩阵分解问题，实验结果表明其在精度和时间复杂度方面均优于现有算法。
- 通过 “低秩 + 稀疏” 分解寻找密集聚类
本文基于凸优化和矩阵分解的最新成果，将 “密集连接群集” 视为不完美的团，利用概率性方法分析问题并旨在检测孤立的种植群集。我们的主要结论基本上是，只要群集足够大，就可以在图中找到密集的群集。