NIPSAug, 2016

泛化因子分解机和秩一矩阵感知的非凸一次过程框架

PDF
TL;DR利用条件独立 RIP 特性构造 GMF 模型的估计序列，实现在线学习、线性收敛及对只消耗 O (kd) 内存，在遍历一遍数据集时，仅需要执行矩阵−向量乘积操作的推广版因子分解机 (gFM)。
factorization machinestreaming datalinear convergencerank-one matrix sensingci-rip
发现论文，激发创造
  • 关于过度参数化矩阵感知的计算和统计复杂度

    通过将分解矩阵 F 分解为单独的列空间来捕捉额外等级的影响，我们考虑使用分解梯度下降（FGD）方法来解决低秩矩阵感知问题，该问题将真实排名为空未知且超说明定。因此，我们提供了 FGD 在超参数矩阵感知问题的统计和计算复杂性的全面图景。

    Jan, 2021

  • 哪种因子分解机建模更好：具有最优保证的理论答案

    对于广义因子机，当输入数据满足所谓的 τ- 矩可逆特性时，可将广义因子机的采样复杂度提高至 O [k ^ 2d⋅polylog（kd）/τ^2]。

    Jan, 2019

  • 小随机梯度下降的非对称矩阵感知

    矩阵感知是从少量线性测量中重建低秩矩阵的问题，我们引入了连续微分方程，称其为 “扰动梯度流”，通过边界足够有界的累计误差，证明扰动梯度流迅速收敛到真实目标矩阵，从而提供了一种基于梯度下降的非对称矩阵感知的新证明方法。

    Sep, 2023

  • 线性递归特征机器可证明恢复低秩矩阵

    神经网络在绕过维度灾难的同时能够准确预测的基础是对特征学习的隐式维度缩减过程的理解，本文提出了递归特征机（RFM）作为一种能够显式地执行特征学习的算法，并且在稀疏线性回归等问题中展示了其维度缩减能力和优于标准算法的性能。

    Jan, 2024

  • 非凸优化遇见低秩矩阵分解：概述

    本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

    Sep, 2018

  • 张量列车恢复的保证非凸分解方法

    通过对所谓的左正交 TT 格式进行 Riemannian 梯度下降（RGD）优化，本论文首次为因子分解方法提供了收敛保证，并证明了 sensing 问题中 RGD 在适当初始化下能够以线性速率收敛到真值张量。

    Jan, 2024

  • 非凸因式分解实现保证矩阵补全

    矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。

    Nov, 2014

  • 贝叶斯最优矩阵分解中的相变和样本复杂度

    使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性，在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。

    Feb, 2014

  • 凸分解机用于回归

    本文提出了一种凸分解机方法（CFM），它是广泛使用的分解机（FM）的一个凸变体。该方法可以找到全局最优解，并已在应用于多视角矩阵分解和张量完成问题时获得成功。

    Jul, 2015

  • 固定秩矩阵分解与黎曼低秩优化

    采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

    Sep, 2012