本文提出了一个利用博弈理论建立广义特征值问题的 Top-k 模型，并给出了一种可并行化的算法，该算法的渐近收敛性能可达纳什平衡，在高维数据集上的计算复杂度为 O (dk)。研究表明该算法可以解决神经网络激活等种类的广义特征值问题实例。

Jun, 2022

本文提出了一个两阶段的计算框架来解决稀疏广义特征值问题，第一阶段解决了稀疏广义特征值问题的凸松弛，第二阶段通过使用截断的瑞利流方法来估计主广义特征向量，从而消除了输入矩阵的结构性约束，利用梯度方法的新策略得到一种精细的特征的演变方式，并给出数值实验来验证理论结果。

Apr, 2016

本文证明，在计算梯度时只要误差小且一致，Nesterov 的一阶优化算法的最优复杂度不变，应用到半定规划中，仅计算当前迭代的少数前导特征值而不是全矩阵指数，大幅减少了方法的计算成本，同时还可使用稀疏最大特征值包有效地解决稀疏问题。

Dec, 2005

我们在这篇论文中通过应用 Nesterov 平滑到 LASSO-type L1 惩罚上，扩展了 PEP，以更快、更高效地最小化与优化问题相关的目标函数；我们还展示了如何使用奇异值分解的已建立结果来计算更高级的特征向量；最后，通过使用 1000 个基因组计划数据集的实证研究，我们证明了我们提出的平滑 PEP 可以提高数值稳定性并获得有意义的特征向量，我们进一步研究了与传统 PCA 相比，惩罚特征向量方法的效用。

Sep, 2023

本研究提出了一种新的贝叶斯方法 ——EigenGP，它在稀疏有限模型中学习基础词典元素 —— 高斯过程的特征函数和先验精度。通过最大化模型边缘似然函数，从数据中学习基础词典元素和相应的先验精度，以及所有其他超参数。与其他稀疏贝叶斯有限模型不同，本方法中的特征函数作为核函数的有限线性组合存在于再生核希尔伯特空间中。实验结果表明 EigenGP 具有比其他稀疏高斯过程方法及相关向量机更优秀的预测性能。

Jan, 2014

本文提出了一种通用的优化方法 —— 平滑近端梯度法 (SPG)，可以在结构化的稀疏惩罚下解决任何光滑凸损失的结构化稀疏回归问题。此方法在性能和可伸缩性方面都具有很大优势，并在模拟实验和真实的遗传数据集上进行了验证。

May, 2010

本文探讨了如何用非线性特征值问题来解决与机器学习和统计相关的约束优化问题， 并提出了一个新型的逆幂方法来解决这些问题，在 1 - 谱聚类和稀疏 PCA 的应用中取得了最先进的解决方案。

Dec, 2010

本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。

Feb, 2012

我们提出了一种便宜的随机迭代方法，解决了通过对可行解的随机估计来优化在广义斯蒂弗尔流形上的问题。该方法具有较低的每次迭代成本，只需要进行矩阵乘法，并且具有与完整矩阵 B 相关的 Riemannian 方法相同的收敛速度。实验证明了其在包括 CCA、ICA 和 GEVP 在内的各种涉及广义正交性约束的机器学习应用中的有效性。

May, 2024

我们研究了涉及具有凸目标函数（平滑或非平滑）和额外的线性或非线性平滑凸约束的几类非常重要的半定优化问题，这些问题在统计学、机器学习、组合优化和其他领域中非常普遍。我们关注高维和合理设置的情况，在这种情况下，问题具有满足低秩互补条件的低秩解。我们提供了几个理论结果，证明在这些情况下，众所周知的 Extragradient 方法，在在接近最优原始 - 对偶解的位置初始化时，使用低秩奇异值分解（SVD）将收敛到约束优化问题的解，并具有标准收敛速度保证，而不需要在最坏情况下需要计算成本高昂的全秩 SVD。我们的方法得到了使用 Max-Cut 实例数据集进行的数值实验的支持。

Feb, 2024