- SeTAR：选择性低秩逼近的未知样本检测
SeTAR 是一种基于选择性低秩逼近视觉 - 语言和仅视觉模型的训练免费的异常检测方法，通过使用简单的贪婪搜索算法通过后期修改模型的权重矩阵来增强异常检测性能。在 ImageNet1K 和 Pascal-VOC 基准测试上的大量评估结果显示 - ICML快速白盒对抗流式处理
在白盒对抗流媒体领域，本文构建了近乎最优的方案，解决了稀疏恢复问题，在其他任务中也有应用，如不同元素估计和矩阵与张量的低秩逼近问题。
- 低秩微调 LLMs：公平视角
研究表明低秩逼近 Fine-Tuning 在捕捉 Fine-Tuning 数据集从初始预训练数据分布中的转变方面具有不足之处，会产生不可忽视的副作用，包括在针对有毒模型和提供公平模型的情景下意外保留不合理的偏差和有毒行为。此外，对于顺序决策 - KDD点击率预测的统一低秩压缩框架
通过低秩压缩模型，本研究提出了一种统一的压缩 CTR 预测模型的方法，实现了模型尺寸减小、推理速度加快、AUC 提高等优势。
- 基于超像素低秩逼近的部分标签学习用于高光谱图像分类
本文提出了一种新的基于超像素低秩逼近（LRA）的部分标签学习方法 SLAP，该方法在高光谱图像（HSI）分类中首次考虑到部分标签学习，并且通过实验验证了该方法相对于现有方法的优势。
- 核矩阵的低秩逼近入元误差界限
通过截断奇异值分解，我们推导了低秩近似核矩阵的逐元素误差界。尽管这种近似在谱范数和弗罗贝尼乌斯范数误差方面是最优的，但对于单个元素的统计行为知之甚少。我们的误差界填补了这一空白。关键的技术创新是对应于小特征值的核矩阵的特征向量的非定位化结果 - 视觉 Transformer 模型压缩与加速综述
本研究通过评估四种主要的模型压缩技术：量化、低秩近似、知识蒸馏和剪枝，解决了视觉 Transformer 在计算和内存需求方面的问题，并全面实验评估了这些技术及其组合在资源受限环境中优化 ViTs 的功效，证明了这些方法在模型精度和计算效率 - 有限高斯混合逼近的最佳近似
通过有限混合物逼近一般的高斯位置混合物，在具有紧支持或适当的尾部概率假设的混合分布族中确定实现所需精度（通过各种 $f$- 分歧度测量）的有限混合物的最小阶数，其中上界是通过使用局部矩匹配技术实现的，下界是通过将最佳逼近误差与某些三角矩矩阵 - 曲率信息的 SGD：通过通用李群预条件器
提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需 - 通过嵌套低秩逼近的神经网络进行运算员 SVD
基于低秩逼近特性的新型优化框架，通过学习前 L 个奇异值和奇异函数的正确顺序来提升所学函数的正交性，在计算物理和机器学习领域展示了提出的优化框架的有效性。
- 基于 Hessian 的低秩权重扰动用于不间断学习
本研究提出了一种基于 Hessian 矩阵感知的低秩扰动算法，用于连续学习。通过将参数转换建模为序列任务的权重矩阵转换，我们在神经网络的每一层上应用任务自适应参数的低秩近似。我们在理论上证明了 Hessian 矩阵与提出的低秩近似之间的量化 - FLORA：用于视觉 Transformer 的细粒度低秩架构搜索
通过引入基于 NAS 的自动化框架 FLORA，本论文提出了一种用于降低计算负载的低秩逼近方法，通过低秩感知的候选过滤策略和低秩特定训练方法，实现了更精细的低秩配置，相比简单均匀配置可额外减少 33% 的操作次数，同时还展示了与压缩技术和紧 - PELA: 学习具有低秩近似的参数高效模型
通过引入中间的预训练阶段，我们提出了一种新方法来增加预训练模型的参数效率，该方法通过低秩逼近来压缩原始的大模型，并设计了特征蒸馏模块和权重扰动正则化模块，以增强低秩模型。这种方法在保持基本架构的最小修改的同时，在所需参数和计算时间方面同时实 - 神经语言模型修剪用于自动语音识别
我们研究了应用于基于 Transformer 的语音识别神经网络语言模型的模型修剪方法。我们探究了修剪框架的三个方面，即准则、方法和调度器，分析了它们在准确性和推理速度方面的贡献。除此之外，我们提出了一种适用于渐进式压缩模型、并可以交付多个 - ICML张量分解实现的鲁棒性对抗防御
机器学习中的敌对攻击威胁不断增加，研究展示了通过张量化和低秩分解结合的方法作为抵御策略，有效提高鲁棒性，超越当前依赖张量分解的防御策略。
- 一种新的截断范数调整方法用于多通道彩色图像降噪
本文提出了一种基于双重加权截断核范数减去截断 Frobenius 范数最小化的方法，通过利用噪声图像的非局部自相似性来聚合类似结构并构建一系列类似的补丁矩阵，每个组采用 DtNFM 模型来估计其去噪版本，提供了处理复杂噪声分布的足够灵活性， - 提高 Nyström 方法在低秩近似中的精度
本文提出了一系列启发式策略，使 Nyström 方法在 nonsymmetric 或 rectangular 矩阵中具有高准确度，通过交替方向细化过程，将 Nyström 方法和瘦秩揭示分解作为快速枢轴策略。
- 基于低秩和稀疏逼近的大型语言模型的结构化压缩
本文提出了一种新颖的模型压缩技术 LoSparse，该技术通过低秩矩阵和稀疏矩阵的加和来近似一个权重矩阵，结合了低秩逼近和剪枝的优点，避免了它们的局限性，在自然语言理解、问答和生成等任务中，它显著优于现有的压缩方法。
- 降秩卡尔曼滤波器：高维近似动态降秩滤波
本文提出了一种适用于高维动态系统的近似高斯滤波和平滑方法，通过投影预测步骤中与 Lyapunov 方程相关联的低秩矩阵流形来推进低秩协方差矩阵的逼近，从而将算法的复杂度从 Kalman 滤波的立方降至最坏情况下的二次方、并且在满足一定条件下 - ICLR学习 CountSketch 中的位置
本文提出了优化稀疏矩阵的学习算法，通过优化矩阵中非零项的位置和值来实现低秩逼近、回归和二阶优化。