May, 2013

分治核岭回归：一种带有极小化最大风险的分布式算法

PDF
TL;DR我们建立了基于分解的可扩展核岭回归方法的最优收敛速率。该方法通过将大小为 N 的数据集随机分为 m 个大小相等的子集，为每个子集计算独立的核岭回归估计器，然后将局部解的平均值得到全局预测器，从而在计算时间上实现了大幅度的减少。
kernel ridge regressiondecompositioncomputation timestatistical optimalitypartition-based estimator
发现论文，激发创造
  • 大维数情况下核回归的最优速率

    对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。

    Sep, 2023

  • 最大边际自由度的上界

    这篇文章研究了核岭回归中的低秩逼近和替代方法，通过引入降维算法和核函数的正则性，探讨了降维逼近的有效维度与正则化参数的增长关系，并证明了对于合适的核函数，这种增长是渐近对数的，从而使得低秩逼近成为纽斯特伦方法。

    Feb, 2024

  • 正态逼近中的分布统计估计和收敛速度

    本文提出了一类新的分布式统计估计算法，利用分治策略实现，表明分治策略的一个关键利益是健壮性，并建立了这些分布式算法的性能与正态逼近的收敛率之间的联系，并证明了非渐近偏差保证和极限定理，针对中位数估计和最大似然估计进行了例证和性能保证

    Apr, 2017

  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 带正则化最小二乘的分布式学习

    使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

    Aug, 2016

  • 大规模多核学习的随机镜像下降算法

    研究了学习如何线性组合多个核的问题，并基于学习的核来学习一个好的预测器；针对多个核的组合，提出了一种随机化的镜像下降算法，利用低方差估计梯度，通过重要性采样估计，发现数据分布之间的关系，对于一个特定的核的情况，可以采样而不必重复观察，并提出多项式核系数的学习方法的组合结构可以在 O (log (d)) 的时间内实现采样，从而使得该方法可以用于非常大的 d；实验证明，该算法比最先进的算法具有更高的计算效率。

    May, 2012

  • 高性能核机器：隐式分布式优化和随机化

    本文提出了一个基于分布式凸优化和随机化的算法框架和高性能实现，以实现基于核方法的统计模型的海量规模训练，以便有效地利用大数据。

    Sep, 2014

  • 统计优化的通信高效算法

    分析了两种用于大规模数据集的分布式统计优化的通信有效算法，一种是标准平均法，另一种是基于适当形式的自助子抽样的新算法，实验结果表明两种方法都有效地解决了中文 SoSo 搜索引擎的广告预测问题。

    Sep, 2012

  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014