我们建立了基于分解的可扩展核岭回归方法的最优收敛速率。该方法通过将大小为N的数据集随机分为m个大小相等的子集,为每个子集计算独立的核岭回归估计器,然后将局部解的平均值得到全局预测器,从而在计算时间上实现了大幅度的减少。
May, 2013
本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法,并提出了一个计算算法,该算法可以用来在不需要生成全核矩阵的情况下,对特征向量矩阵进行采样,并在统计表现和运行时间方面提供了新的保证。
Nov, 2014
本文研究了利用Nyström逼近进行大规模核正交主成分分析(KCCA)中的列选择问题,其中利用训练集的“地标”点逼近两个半正定核矩阵。我们提出了一种基于最近为核岭回归开发的统计杠杆得分版本的非均匀采样地标策略,研究了所提出的非均匀采样策略的逼近精度,并开发了一种增量算法,易于探索逼近排名的路径并促进有效的模型选择,并推导了我们方法的样本外映射的核稳定性。在合成数据和实际数据集上的实验结果表明了我们方法的潜力。
Feb, 2016
本文通过使用DPP的方式选择landmark点来保证至少达到一定的误差边界并且减少了时间效率,在实验中它表现比现有的方法更好,特别是在Nyström方法和kernel ridge regression中有应用。
Mar, 2016
本文通过研究谱矩阵近似的角度,给出了随机傅里叶特征的数量界和核岭回归的统计保障,而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。
Apr, 2018
通过KRR、SCT和KARE的引入,利用Wishart随机矩阵的Stieltjes变换进行有限尺度分析,得出一个KRR风险的近似值,同时基于这个近似值提供了一种有前景的选择如何进行Kernels建设的数据依赖性程序。
Jun, 2020
该论文提出了一种基于线性时间算法的方法来精确近似统计杠杆分数,以选取代表性的子样本,运用于Nyström近似中,以提高预测准确性和减少计算成本。
Mar, 2021
本文针对Kernel ridge regression方法的不足,提出了一种新的优化方法Kernel Gradient Flow,通过引入不同于ridge惩罚的惩罚项,以及在训练过程中减小核函数的带宽,该方法得到了更好的结果。
Jun, 2023
通过使用迭代方法并在训练过程中逐渐减小带宽,我们可以解决内核岭回归中的超参数选择问题,并取得优于使用常数带宽的结果。同时,我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能,还能产生双下降现象,这些特征在常数带宽的内核岭回归和神经网络中并不常见。
Nov, 2023
基于核岭回归的参数选择问题,通过细致的参数区间划分和早停策略运用Lepskii原则,实现了学习率的优化和对不同规范的适应,为核方法的参数选择提供了新的突破记录。
Dec, 2023