- 具近见式指导反馈的可证明交互式学习
探讨了以回顾性标签为指导的交互学习,通过理论分析证明了任何算法的后悔度必须与代理的响应空间的规模成比例,并基于低秩矩阵的特殊设定引入了名为 LORIL 的算法,并证明了它的后悔度与回合数的平方根成比例,而不以代理的响应空间的大小为依据,最后 - 非线性低秩矩阵估计的基本限制
从非线性和含噪声观测中估计一个低秩矩阵的任务中,我们证明了一个强普适性结果,表明贝叶斯最优性能可由一个等效的高斯模型表示,其先验参数完全由非线性函数的展开所确定。特别地,我们展示了为了准确重建信号,需要一个随着 $ N^{rac 12 (1 - 学习低秩特征表示:在连续学习中更好地平衡稳定性和可塑性
提出了一种名为 LRFR 的新型训练算法,通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性,同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度,从而增强了网络参数设计时的可塑性,该方法 - 通过非凸梯度下降快速且极小化误差地估计低秩矩阵
本文研究了从噪声测量中估计低秩矩阵的问题,并提出一种修改的非凸梯度下降方法,既能解决慢收敛的问题,又能保持极小值最优性,通过医学成像应用的实验,我们观察到,与先前的方法相比,重建误差显着减小。
- 使用 ReLU 函数加速非线性矩阵分解算法
研究使用 ReLU 元素级非线性函数的非线性矩阵分解问题,提出了两种新算法(A-NMD 和 3B-NMD),它们通过自适应 Nesterov 外推和参数化 θ=WH 的方法来加速计算。同时,为了代替秩函数,提出了一种基于核范数的有效的初始化 - 一种用于 1 比特矩阵补全问题的主元最小化高斯 - 牛顿方法
本论文提出了一种基于主导最小化 (MM) 方法的 1 位矩阵补全算法 MMGN,它采用了显式约束低秩结构的分解方法,然后借助高斯牛顿方法解决子问题,在二进制观察值下产生了可比较的甚至更准确的估计,通常速度更快,并且对底层矩阵的尖峰值更不敏感 - MM小的随机初始化类似于谱学习:超参数低秩矩阵重建的优化和泛化保证
本文针对超参数模型上的梯度下降进行了研究,证明小随机初始化后的梯度下降与受欢迎的谱方法相似,并且可以在全局最优解附近泛化良好。具体而言,对于通过自然的非凸公式重构低秩矩阵的问题,我们证明了梯度下降迭代的轨迹可以近似分解为三个阶段。
- Linformer: 线性复杂度的自注意力
本文提出了一种新的自注意力机制 ——Linformer,该机制通过近似自注意力矩阵,将自注意力机制的时间和空间复杂度从 O (n^2) 降低为 O (n),从而显著提高了 Transformer 模型的内存和时间效率。
- 低秩广义线性赌博机问题
提出了一种基于在线到置信区间映射和基于低秩矩阵覆盖的指数加权平均预测器相结合的算法,解决了低秩线性赌博机问题,具体算法延伸自探索子空间再精炼算法,可以使得拥有低秩矩阵 Theta 的线性赌博机达到更好的期望累积损失表现并得到了实验的验证。
- 低秩特征值问题
矩阵乘积的非零特征值相等定理在矩阵计算的应用中有很大的优势,因为它可以用于计算低秩矩阵 AB 的特征值和特征向量,即求出矩阵 BA 的特征值和特征向量,从而得到原矩阵 AB 的特征值和特征向量。此外,本文还讨论了 Jordan 块在 AB - 静态和动态鲁棒性 PCA 与矩阵补全:综述
本文介绍了过去十年来有关 RPCA 和其动态对应物(鲁棒子空间跟踪)的大量文献,讨论了它们的理论保证和性能表现,并提供了性能和速度的实证比较;同时还简要讨论了低秩矩阵完成问题,它是 RPCA 的一个简化特例。
- MM条件梯度型方法及其在鲁棒矩阵恢复问题中的应用的改进复杂度
为了解决鲁棒矩阵恢复问题,本论文提出了一种基于条件梯度法的优化问题求解方法,针对两块变量分别进行约束优化,在满足特定条件下获得比传统方法更快的收敛速度,特别适用于其中一块变量为低秩矩阵的情况,且不需对数据进行任何统计假设前提。
- 随机低秩赌博机
本文提出了一种名为 LowRankElim 的算法,该算法能够在一定时间复杂度下对一个非负矩阵寻找其的最大值,并且在文献中该类结果首次出现。
- 流形优化的鲁棒 PCA
本文提出了两种算法 (用于两个版本的收缩),这些算法基于流形优化思想将稳健主成分分析 (Robust PCA) 问题看作低秩矩阵上的非凸优化问题,与基于 Burer-Monterio 低秩矩阵分解的先前工作相比,本文所提算法在理论上降低了对 - KDD使用查询完成矩阵
本研究提出了一种主动式矩阵完成算法,通过查询真实矩阵来克服数据不完备造成的不足信息问题,可以在仅查询少量条目的情况下高精准度地重构缺失的矩阵,并通过实验验证了该算法的高效性和精度。
- ICML结构化低秩矩阵学习:算法与应用
该论文提出了一种新的因子分解模型,它将低秩矩阵和线性子空间约束分离开来,从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明,该方法在标准 / 鲁棒 / 非负矩阵补全,Hankel 矩阵学习和多任务 - 非凸低秩问题中不存在虚假局部极小点:统一的几何分析
发展了一种新框架,旨在捕捉一般非凸低秩矩阵问题的共同局面,包括矩阵感知,矩阵完成和鲁棒 PCA,在优化风景线的现有分析的基础上进行了连接和简化,自然地导致了不对称矩阵完成和鲁棒 PCA 的新结果
- 非凸优化在潜变量高斯图模型估计中的加速
通过矩阵分解方法和基于硬阈值的迭代梯度下降算法,我们提出了一个针对潜变量高斯图模型(LVGGM)的稀疏和低秩分量的估计方法,实验结果表明该算法比现有算法更加优越。
- 近乎最优的鲁棒矩阵完成
本文提出了一种简单的投影梯度下降方法来估计低秩矩阵,用于解决鲁棒矩阵完成问题,并且包括清除一些受损条目的步骤,并在低秩矩阵完成问题中获得了最优观测次数和最优破坏次数的解决方法。同时,本文的结果还意味着,对于低秩矩阵完成问题的时间复杂度界限, - 一种 l∞特征值扰动界及其在鲁棒协方差估计中的应用
该论文针对矩阵扰动中的特征向量进行了研究,证明了当矩阵是低秩和不相干的时候,奇异向量的(或对称情况下的特征向量)l∞范数扰动界限比 l2 范数扰动界限更小一个因子。作者在稳健协方差估计方面提出了新的建模方法,并利用所开发的扰动界限确立其渐近