- ICML深度超参数低秩学习与调整中的可压缩动力学
通过利用数据的固有低维结构和模型参数的可压缩动力学,我们展示了优化和泛化方面的超参数化的好处,而无需增加计算负担。在深度低秩矩阵补全和微调语言模型的实践中,我们证明了这种方法的有效性,同时保留了超参数化对性能的优势。
- 凸优化与列子集选择的矩阵补全
我们介绍了一种用于矩阵恢复问题的两步方法,结合了列子集选择和低秩矩阵补全问题的理论基础。该方法通过两个凸优化任务来求解,我们提出了两个算法来实现 Columns Selected Matrix Completion(CSMC)方法,分别针对 - 高度不均匀采样下低秩矩阵补全的逐项界限
低秩矩阵补全问题关注使用稀疏观测的一组观测条目来估计矩阵中未观测的条目。我们考虑非均匀设置,其中观测条目根据高度变化的概率进行采样,可能具有不同的渐近尺度。我们证明了在结构化采样概率下,使用较小的子矩阵而不是整个矩阵上运行估计算法通常更好, - 增强低秩矩阵补全的稀疏正则化生成框架
应用半二次优化于损失函数可以产生对应的正则化器,而这些正则化器通常不具备稀疏诱导能力。为解决这个问题,我们设计了一个能够生成具有闭式近似算子的稀疏诱导能力正则化器的框架。此外,我们使用几个常用的损失函数来明确我们的框架,并产生相应的正则化器 - 几乎验证时间内的矩阵完成
我们提供了一个解决低秩矩阵完成问题的新框架,通过聚合涉及观测的回归问题的解来将矩阵 M 完成,并改进了之前已知的算法的样本复杂度和运行时间。
- 具有理论保证的机器学习非凸优化:鲁棒矩阵补全和神经网络学习
本文讲述了解释性学习系统是机器学习的一个新趋势,但由于现实数据是由非线性模型生成的,在研究非凸优化问题时,提供可解释性算法是具有挑战性的,本文研究了两个非凸问题:低秩矩阵补全和神经网络学习。
- 应用基于图形的矩阵完形填空技术于气象数据
本文研究了利用加权图表达的附加信息帮助低秩矩阵补全中的未知条目,通过对天气站记录的空气温度数据进行测试,并证明充分的时空图可以显著提高补全的准确性。
- 来自一般确定性采样模式的矩阵补全
该论文针对低秩矩阵完成算法的理论保证存在严格且近似的情况,可以应用于任何确定性采样计划。通过引入一个图形来解决观察条目的性能问题,论文从理论和实验角度论证了算法的成功性。
- 自监督学习中谱嵌入与矩阵补全的桥接
这篇研究论文从 Laplace 算子的角度出发,探讨了现代自监督表征学习方法中使用的一系列损失的理论基础,将数据扩充的感性偏置与低秩矩阵完成问题联系起来,利用低秩矩阵完成结果分析了现代自监督学习方法的收敛性及影响其下游性能的重要属性。
- 最优低秩矩阵完成:半定松弛和特征向量分离
通过将低秩矩阵补全问题重新表述为在投影矩阵的非凸集上的凸问题,并实施一个可证明最优的分离分支限界方案,推导出一类新的收敛松弛方法。数值实验表明,相比现有的收敛松弛方法,我们的新型收敛松弛方法将最优性差距降低了两个数量级。此外,我们展示了我们 - ICLR在线低秩矩阵补全
本文研究在线低秩矩阵完成问题,提出了一个基于探索 - 利用策略及用户聚类技术的 OCTAL 方法,可以在多项臂赌博机问题的基础上获取 $ O ({m polylog} (M+N) T^{2/3})$ 的遗憾,并在 Rank-1 情况下得到 - ICML用可扩展的二阶方法逃避病态矩阵补全中的鞍点
提出了一个迭代算法,用于低秩矩阵完成,可以解释为迭代重新加权最小二乘(IRLS)算法和应用于非凸秩代理目标的鞍点逃逸平滑牛顿方法,它结合了先前 IRLS 方法的有利数据效率与几个数量级的可伸缩性的改进。我们的方法在样本数量接近信息理论极限时 - 低秩矩阵补全:当代综述
本文为低秩矩阵补全问题提供了最新的调查,对最新的 LRMC 技术进行了分类和详细说明,讨论了 LRMC 技术使用时需要考虑的问题,并介绍了基于卷积神经网络的 LRMC 算法,最后介绍了最新 LRMC 技术的恢复性能和计算复杂性。希望本文对初 - 矩阵刚性与鲁棒 PCA 和矩阵完成的不适定性
研究了 Robust Principal Component Analysis 和 low-rank matrix completion 两个问题的稳健性,发现由于其低秩矩阵和基础矩阵之间的相干性,以及矩阵刚度函数的不连续性等问题,可能会出 - 矩阵补全的留一法:原始和对偶分析
本文介绍了一种基于 Leave-one-out 方法的技巧用于解决低秩矩阵完成问题,进而通过对 Projected Gradient Descent 和 nuclear norm minimization 等算法进行分析,得到了这些算法的收 - 高秩矩阵补全的代数多样性模型
本文以代数多样性为数据本身的情况进一步推广了低秩矩阵补全问题,结合仿射子空间集合进行研究,提出了一种有效的基于凸或非凸代价的矩阵补全算法,绕过高维幂律特征矩阵的直接处理,能够恢复合成数据和真实数据,且其性能优于传统的低秩矩阵补全和子空间聚类 - 具有收缩和向量传输的黎曼随机方差缩减梯度算法
本文提出了一种新颖的 Riemann 扩展欧几里得随机方差约减算法,用于测地线搜索空间,在流形上应用于对称正定子流形上的 Riemannian 质心计算问题以及 Grassmann 流形上的主成分分析和低秩矩阵完成问题中,并证明在该问题上优 - Grassmann 流形上的黎曼随机方差减少梯度
本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展,应用于紧致流形搜索空间,并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。
- 一种带有 “面内” 方向的扩展 Frank-Wolfe 方法及其在低秩矩阵补全中的应用
本文基于低秩矩阵补全问题,提供了 Frank-Wolfe 方法的一种扩展,该方法旨在在可行区域的低维面上产生近最优解。我们采用一种新方法,在每次迭代中生成 “面内” 方向,并通过在面内和 “定常” Frank-Wolfe 步骤之间选择的新选 - MM在线矩阵补全和在线鲁棒主成分分析
本文研究了在线的鲁棒主成分分析(robust PCA)和在线低秩矩阵补全(low-rank matrix completion)的问题并提出了实用的算法,主要的贡献是在容易满足的假设下提供了正确性结果。