本文研究了在正定核框架下的监督学习问题,提出了基于随机矩阵列采样的核矩阵低秩近似方法,此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题,同时保持预测性能不变。
Aug, 2012
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
Mar, 2024
本文研究了计算有效的低秩核近似的限制,证明计算相对误差 k 秩逼近 K 对于广泛类别的核,包括高斯和多项式核,至少与将输入数据矩阵 A 乘以任意矩阵 C 一样困难,并给出了一些希望:首次证明对于一般的径向基函数核, 如高斯核,存在 $O (nnz (A))$ 的时间近似方法。
Nov, 2017
本文提出了一个基于层次划分的新型核函数,可以减轻用于核方法的大规模非参数学习的计算复杂度并且在实验中提高了表现。
Aug, 2016
本文研究了在重现核希尔伯特空间中进行正则化学习情景时,如何在核函数的温和假设下获得最佳的错误率。研究发现,可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。
Jan, 2010
通过将图构建和核学习统一框架,可以通过彼此迭代的方式增强图及共识核,而我们提出了一种学习低秩核矩阵的方法,从候选核之间的邻域中寻找最优核矩阵,进而解决了现有多核学习算法中的一些问题,并得到了验证。
Mar, 2019
这篇文章研究了核岭回归中的低秩逼近和替代方法,通过引入降维算法和核函数的正则性,探讨了降维逼近的有效维度与正则化参数的增长关系,并证明了对于合适的核函数,这种增长是渐近对数的,从而使得低秩逼近成为纽斯特伦方法。
Feb, 2024
通过基于随机投影导出的特征近似核函数,提出了有效地克服核方法计算复杂度的方法,并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能,同时克服了模型调节的困难。
Nov, 2014
本文介绍了用于训练核字典学习问题中的缩减非线性表示的新算法。我们提出了一种更贴近字典学习精神的方法,在 KDL 过程中直接优化核向量,使用梯度下降步骤。我们通过三个数据集的实验证明,尽管使用少量核向量,我们的算法能够提供更好的表示,并且减少了执行时间。
Jul, 2023
探讨了基于经验风险惩罚的多核学习问题。它综合考虑了经验 $L_2$ 范数和核引起的再生核希尔伯特空间(RKHS)范数及其正则化参数的数据驱动选择的复杂度惩罚。主要关注的是当核心总数很大但仅需要较少数量的核心来表示目标函数时,该问题是稀疏的情况。目标是建立超预言不等式的超额风险,用于描述该方法是如何适应未知设计分布和问题的稀疏性。
Nov, 2012