ICMLJun, 2024

加权低秩逼近的重新加权解

PDF
TL;DR通过使用权重矩阵本身进行矩阵重新加权，我们提出了一种放松的 WLRA 解法，该方法可以输出一个并非低秩矩阵，但可以使用非常少的参数进行存储，并在权重矩阵具有低秩时给出可证明的近似保证。此外，我们的算法在模型压缩和合成数据集方面展现出非常出色的实证性能，并为与此问题相关的自然分布问题提供了几乎最佳的通信复杂性界限。
weighted low rank approximationcomputational challengesmatrix reweightingmodel compressioncommunication complexity
发现论文，激发创造
  • 带权重或缺失数据的低秩矩阵逼近是 NP 难的

    本文研究了带权低秩逼近算法的计算复杂度，并证明了即使在寻求秩为一的逼近解时，找到近似解也是 NP 难的，该证明基于最大边双团问题的约化并适用于严格正权重和二进制权重。

    Dec, 2010

  • 论鲁棒主成分分析和 L1 范数低秩矩阵逼近的复杂度

    本篇论文证明了基于分量的 l1 - 范数的低秩矩阵逼近问题是 NP-hard 的， 并与其它著名问题进行了有趣的联系。

    Sep, 2015

  • 基于加权近似排名成分分析的可扩展测度学习

    我们提出了一种名为带权近似秩分量分析（WARCA）的度量学习公式，它通过将 WARP 损失与偏爱正交线性映射和避免秩缺乏嵌入的正则化器相结合，优化顶级排名的精度，我们的方法在最近和标准的重新识别数据集上都超越了现有的最先进技术，不仅在准确性上优于现有的技术，而且在速度上也表现出极佳的表现。

    Mar, 2016

  • 通过迭代重新加权最小二乘法恢复低秩矩阵

    使用迭代重加权最小二乘算法，同时结合核范数和近似低秩解的最小化，有效地从少量线性测量中恢复矩阵，并通过实验证明在矩阵完成问题中具有竞争力。

    Oct, 2010

  • 高效交替最小化与带权低秩近似的应用

    本研究提供了一种有效和稳健的交替最小化框架来解决线性代数和机器学习中的一些问题，关注于都市中加权矩阵的低秩矩阵近似问题，并将运行时间从之前的 n^2k^2 降至 n^2k。

    Jun, 2023

  • 局部低秩假设下的矩阵近似

    该研究提出了一种新的矩阵逼近模型，其中假设只有部分的矩阵是局部低秩的，并将观测矩阵表示为低秩矩阵的加权和，实验表明该方法在推荐任务中可以提高预测准确度。

    Jan, 2013

  • 低秩适应的表达能力

    使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。

    Oct, 2023

  • 基于批处理低秩方法的基础模型适应

    通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

    Dec, 2023

  • 迭代加权最小二乘法平滑低秩和稀疏矩阵恢复

    本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架，使用迭代重新加权最小二乘（IRLS）方法来解决混合低秩和稀疏最小化问题，例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题，理论证明了所获得的解为静止点，并在合成和实际数据集上进行了广泛的实验以证明其有效性。

    Jan, 2014

  • 单个线性层生成任务适应性低秩矩阵

    一个单线性层产生了任务适应的低秩矩阵，此方法在效果上与 LoRA 相当，但可训练参数更少。

    Mar, 2024