- EMNLPPFID: 面向 LLM 的隐私优先推断委托框架
该论文介绍了一种名为 PFID 的新型隐私保护框架，通过分散模型和奇异值分解的方式，解决了 LLM 系统中关键的隐私问题。
- 对 Transformer 语言模型的层间通信的理解
通过分析 Transformer 语言模型中的机制，研究揭示了其通过低秩通信信道在不同层之间传递和存储特征的方式，通过分解注意力头权重矩阵进而预测层间相互作用的方法，以及利用该机制改善内部模型表示和权重来提升任务性能的结构学习，为进一步分析 - PatchSVD：一种基于非均匀 SVD 的图像压缩算法
一种基于奇异值分解算法的基于区域的有损图像压缩技术 PatchSVD，在图像压缩领域具有优势，与 JPEG 和基于 SVD 的压缩方法相比，PatchSVD 具有可取代的压缩效果和压缩伪影。
- LoRA-XS：低秩适应与极小参数
介绍了一种新的参数高效微调方法 LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。
- 频谱适配器：频谱空间微调
研究了参数高效调优方法与预训练深度神经网络的关联，提出了将预训练权重矩阵的光谱信息融入调优过程的两种机制：加性调优和正交旋转顶级奇异向量。实验证明该方法能提高低秩适配器的秩能力，使得参数效率和调优性能得到提升，并对多适配器融合也有益处。
- CVPRTriLoRA：在文本到图像生成中集成 SVD 的高级风格个性化
综合奇异值分解（Singular Value Decomposition）与低秩适应（Low-Rank Adaptation）参数更新策略，提高图像生成模型的微调效率和输出质量，改善模型的泛化能力和创造性灵活性，同时在受限资源条件下保持良好 - FeDeRA: 在联邦学习中利用权重分解实现语言模型的高效微调
基于预训练语言模型 (PLMs) 的联邦学习 (federated learning) 中，引入参数高效微调 (PEFT) 方法，通过奇异值分解 (SVD) 初始化适配器模块的 FeDeRA，在多个任务和数据集上实验，与全参数微调 (FT) - PointDifformer：基于神经扩散和 Transformer 的鲁棒点云配准
使用图神经偏微分方程和热核签名的鲁棒点云配准方法，在三维计算机视觉中具有应用于图形、自动驾驶和机器人技术等领域的基础技术。实验结果表明，该方法不仅在点云配准方面取得了最先进的性能，而且对于加性噪声或三维形状扰动具有更好的鲁棒性。
- WWW利用结构复杂度度量评价推荐系统的可预测性
基于用户 - 物品评分矩阵的结构复杂性，此研究引入了数据驱动的度量标准来衡量推荐系统的可预测性。使用奇异值分解和矩阵分解策略，通过扰动数据评估其预测能力，结果表明度量标准与真实数据集上表现最佳的预测算法的准确性之间存在高相关性。
- 视觉 Transformer 中查询 - 键交互的解析
通过奇异值分解研究图像视觉变换器中的自注意力机制，发现早期层更倾向于关注相似的标记，而后期层则更多地注意不相似的标记，这些奇异值表示的特征之间的相互作用具有可解释性，从而为理解转换器模型在处理图像时如何利用上下文和显著特征提供了新的解释角度 - 揭示文本 - 图像扩散模型中的文本嵌入
本文研究了文本嵌入空间，发现每个词的嵌入和其上下文相关性对学习无关的图像编辑具有重要意义，并揭示文本嵌入本身具有多样的语义潜力，通过奇异值分解来进一步揭示这一特性，这些发现对图像编辑和语义发现具有实际应用价值。
- 低秩重缩放视觉转换器微调：一种残差设计方法
利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。
- 通过奇异值分解的隐形后门攻击
本文提出了一种名为 DEBA 的隐形后门攻击方法，通过奇异值分解（SVD）在训练阶段将隐形后门嵌入模型中，导致在特定触发条件下表现出预定义的恶意行为，实验证明 DEBA 方法在攻击效果、感知质量和抵抗防御措施方面表现出高度有效性和鲁棒性。
- Verifix: 通过验证样本改善标签噪声鲁棒性的后训练纠正
提出后训练校正新范式以解决标签污染问题，引入基于奇异值分解（Singular Value Decomposition，SVD）的 Verifix 算法以消除机器学习模型中的错误标签，并通过投影模型权重到清洁激活空间来抑制对应于损坏数据的激活 - SVD-LLM：大型语言模型压缩的截断感知奇异值分解
提出了一种新的基于奇异值分解的大型语言模型压缩方法 SVD-LLM，它解决了现有方法的限制，并在高模型压缩比下展现了优越性能。
- 健壮的 SVD 简化版：大规模数据分析的快速可靠算法
本研究提出了一种高效的算法，叫做球形归一化奇异值分解 (SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在 - 万灵草: LLMs 的 Pareto 对齐通过偏好适应
Panacea 是一种创新的方法，将对齐视为多维偏好优化问题，使用奇异值分解（SVD）的低秩适应来引导模型行为，从而无需进一步调整，实现了有效和高效地对齐模型以适应多样化和复杂的人类偏好。
- GenPluSSS：基于遗传算法的实测场景下表面散射表示的插件
本研究提出了一种插件，可以在 Blender 3D 建模工具上添加均质和异质的光学厚射线材料的表示。该插件的工作原理是基于遗传算法 (GA) 和奇异值分解 (SVD) 的次表面散射方法 (GenSSS) 的组合。所提出的插件利用开源渲染软件 - 超越反遗忘：利用正向迁移进行多模式连续指导调整
Multimodal Continual Instruction Tuning (MCIT) enables Multimodal Large Language Models (MLLMs) to meet continuously eme - 利用正交性训练低秩神经网络
该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性