NIPSDec, 2010

一种求解非线性特征值问题的逆幂方法及其在 1 - 谱聚类和稀疏主成分分析中的应用

PDF
TL;DR本文探讨了如何用非线性特征值问题来解决与机器学习和统计相关的约束优化问题， 并提出了一个新型的逆幂方法来解决这些问题，在 1 - 谱聚类和稀疏 PCA 的应用中取得了最先进的解决方案。
machine learningstatisticsquadratic functionsnonlinear eigenproblemsinverse power method
发现论文，激发创造
  • 基于幂法和反幂法的神经网络求解线性特征值问题

    本文提出三种基于幂法、逆幂法和移位逆幂法的神经网络，利用自动微分实现微分算子，学习线性特征值问题的特征函数并通过特殊定义的损失函数进行迭代，通过数值实验检验了方法的适用性和准确性，得出了我们方法可以获得准确的特征值和特征函数逼近的结论。

    Sep, 2022

  • 通过幂法的谱聚类 —— 可证明性

    本文通过理论分析证明，在光谱聚类时，使用小量的幂迭代即可通过近似特征向量来达到接近最优的 K-means 聚类结果。

    Nov, 2013

  • 稀疏特征值问题的截断幂方法

    本文提出了一种称为截断幂法的简单有效的方法来解决稀疏特征向量问题，可以近似解决底层非凸优化问题，特别是在稀疏主成分分析和最密 $k$ 子图问题上表现出了很强的竞争性实验效果。

    Dec, 2011

  • 通过 Procustes 重构实现正交稀疏 PCA 和协方差估计

    本文提出了一种不损失正交性的估计稀疏特征向量的方法，并运用 MM 框架和矩形 Procrustes 问题来解决高维数据中的非凸优化问题。同时，我们还提出了一种基于特征向量稀疏性的协方差估计算法，实验表明这些方法在支持恢复和解释方差方面比现有算法表现更好。

    Feb, 2016

  • 稀疏主成分分析的广义幂法

    本文提出了一种新的稀疏主成分分析 (Sparse PCA) 方法，通过优化一个包含在紧致集合上的凸函数的最大化问题，使用一个简单的梯度方法，能够在数据矩阵具有比行更多的列 (变量) 时大幅度减少搜索空间的维度，并在随机和基因表达测试问题上展示了比现有算法更好的解决方案质量和计算速度。

    Nov, 2008

  • 通过凸优化实现快速简易的 PCA

    本文介绍了一种基于凸优化和随机方法的新的高效 PCA 方法，该方法能够在很短的时间内计算出一个给定矩阵的主成分，并且在一定参数范围内实现了迄今最快的计算速度。

    Sep, 2015

  • 高维数据的增强稀疏主成分分析

    本论文研究基于高维独立的高斯观测下，对总体协方差矩阵中的主要特征向量进行估计的问题。研究者们提出了一种基于坐标选择方案结合 PCA 的主要特征向量估计器，并证明了该估计器在稀疏条件下可以达到最优收敛速率。同时，也证明在某些情形下，通常的 PCA 可以达到最小最大收敛速率。

    Feb, 2012

  • 基于平滑优化的稀疏广义特征值问题

    为了发现矩阵对的稀疏广义特征向量，提出了一种基于连续代理函数和二次可分离函数的优化算法，并通过平滑技术处理了奇异性问题和特别结构的情况，相较于先前算法更有效。

    Aug, 2014

  • 利用半正定规划对稀疏 PCA 进行直接求解

    研究在 Frobenius-norm 意义下，将正半定对称矩阵近似为一个秩为一的矩阵，其特征向量的基数有一个上限的问题以及其在协方差矩阵分解到稀疏因子等领域中的应用，提出了一个基于半定规划的方法，并讲解了 Nesterov's 平滑最小化技术在直接稀疏 PCA 方法中的应用。

    Jun, 2004

  • 生成主成分分析

    本文研究采用生成建模假设的主成分分析问题，提出了一个二次估计器，并在各种图像数据集上进行了实验。

    Mar, 2022