通过研究计算复杂性理论，发现在满足一定限制的协方差集中条件下存在有效的样本大小范围，在此范围内无法有随机多项式时间算法达到最佳极小风险率；对著名的半定松弛估计方法的理论性能进行研究，揭示了统计效率和计算效率之间微妙的相互作用，此方法为多维数据稀疏主成分分析提供了一种解决方案。

Aug, 2014

随机特征逼近是加速大规模算法中核方法的最流行技术之一，并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质，包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器，我们在适当的源条件下定义的规则性类别（甚至包括不在再生核希尔伯特空间中的类别）上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。

Aug, 2023

提出了一种基于矩阵草图的流式 Kernel 主成分分析方法，它能够在流中维护一小组基本元素，仅需要对 n 取对数的空间，比当前最先进的方法在实践中表现得更好。

Dec, 2015

在核主成分分析中使用随机傅里叶特征的统计和计算学方面的研究，证明在温和假设下，使用 O (sqrt (n) log n) 个特征即可达到 O (1/epsilon^2) 的样本复杂度；此外，还提出了一种基于经典 Oja 算法的内存高效的流算法来实现这一速率.

Aug, 2018

本论文提出了一种基于随机优化算法的近似核正则化典型相关分析方法，具有在处理大规模数据集时计算效率高的特点，该方法应用于语音数据集处理中，包含 $1.4$ 百万的训练样本，以及维度 $M=100000$ 的随机特征空间.

Nov, 2015

本文提出了一种基于随机化的近似核 K-means 簇算法，其利用采样点与数据集中所有点之间的核相似性来近似聚类中心，实现了与传统低秩核近似聚类方案相比更好的聚类性能、更短的运行时间和更小的内存需求，最后利用集成聚类技术进一步提高算法性能。

Feb, 2014

本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

Jun, 2015

本文研究了利用 Nyström 逼近进行大规模核正交主成分分析（KCCA）中的列选择问题，其中利用训练集的 “地标” 点逼近两个半正定核矩阵。我们提出了一种基于最近为核岭回归开发的统计杠杆得分版本的非均匀采样地标策略，研究了所提出的非均匀采样策略的逼近精度，并开发了一种增量算法，易于探索逼近排名的路径并促进有效的模型选择，并推导了我们方法的样本外映射的核稳定性。在合成数据和实际数据集上的实验结果表明了我们方法的潜力。

Feb, 2016

通过利用随机性设计了新的可伸缩非线性 PCA 和 CCA 变体，并扩展到关键的多元分析工具，例如谱聚类或 LDA，并在真实世界的数据上进行了实验，与最先进的方法进行了比较。

Feb, 2014

统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。

Mar, 2024