矩阵的灵活多层稀疏逼近及其应用
本文主要介绍了一种新的基于随机逼近的在线优化算法,用于解决以学习基础集合和将其适应特定数据为主的大规模矩阵分解问题,其在各种矩阵分解方面有良好的表现,并在自然图像和基因数据上进行的实验中具有速度和优化方面的先进性能。
Aug, 2009
该研究探讨如何将矩阵分解为多个稀疏矩阵,提出了一种在随机性和稀疏性假设下的算法,该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值,矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。
Nov, 2013
该论文提出了一种新的因子分解模型,它将低秩矩阵和线性子空间约束分离开来,从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明,该方法在标准 / 鲁棒 / 非负矩阵补全,Hankel 矩阵学习和多任务学习等问题上具有较高的效率。
Apr, 2017
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
本文介绍了用于稀疏信号分解的词典学习的凸优化方法,通过引入凸排名降低项替代字典大小的上限来获得凸性。在一系列的合成示例中,分类比较了凸优化方法和非凸优化方法的估计能力,结果表明,虽然凸优化方法只有一个局部最小值,但在某些情况下,其性能可能不如非凸优化方法的局部最小值。
Dec, 2008
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解,结果表明,该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量,而且实际数据的测试结果也有类似优势。
Dec, 2013
该研究提出了一种使用参数化相似性度量的方法,将其作为具有特定稀疏结构的秩一矩阵的线性组合,此方法可以高效地处理高维稀疏数据,并通过近似的 Frank-Wolfe 过程优化参数以满足训练数据上的相对相似性约束,实验结果表明该方法具有分类、降维和数据探索的潜力。
Nov, 2014