May, 2023

关于错配核岭回归的最优性

PDF
TL;DR本论文证明了当 H 是一个 Sobolev RKHS 时，对于任何 0 < s < 1，KRR 都是极小化最优的，解决了长期存在的问题。
misspecified kernel ridge regressionreproducing kernel hilbert spaceminimax optimal resultsembedding indexsobolev rkhs
发现论文，激发创造
  • 高维条件下核岭回归的最优速率

    通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。

    Jan, 2024

  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 针对向量 - 值正则化最小二乘算法的最佳 Sobolev 范数速率

    我们提出了一个连续标准的无限维向量值岭回归问题的第一个最优率，在 $L_2$ 和假设空间之间插值的范数上，我们认为这是一个向量值再生核希尔伯特空间。这些率允许处理真实回归函数不包含在假设空间中的不正确情况。我们将假设空间的容量标准假设与一种新的向量值插值空间的张量积构造相结合，以刻画回归函数的平滑程度。我们的上界不仅达到与实值核岭回归相同的速率，而且消除了目标回归函数有界的假设。对于下界，我们使用投影论证将问题简化为标量情况。我们证明这些速率在大多数情况下是最优的，并且与输出空间的维度无关。我们以向量值 Sobolev 空间的特殊情况来说明我们的结果。

    Dec, 2023

  • 大维数情况下核回归的最优速率

    对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。

    Sep, 2023

  • 大步长非参数随机逼近

    本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。

    Aug, 2014

  • 强健在线学习的最优性

    本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。

    Apr, 2023

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 多核学习中的稀疏性

    探讨了基于经验风险惩罚的多核学习问题。它综合考虑了经验 $L_2$ 范数和核引起的再生核希尔伯特空间（RKHS）范数及其正则化参数的数据驱动选择的复杂度惩罚。主要关注的是当核心总数很大但仅需要较少数量的核心来表示目标函数时，该问题是稀疏的情况。目标是建立超预言不等式的超额风险，用于描述该方法是如何适应未知设计分布和问题的稀疏性。

    Nov, 2012

  • 作为回归器的条件均值嵌入 - 补充材料

    本文介绍了使用 reproducing kernel Hilbert space embeddings of conditional distributions 与 vector-valued regressors 之间的等价关系，从而引入了一个自然的正则化损失函数以更好地理解和使用这种嵌入方法，并且通过向量回归方法的应用和导出推导生成了嵌入算法的最小一致收敛率 O (log (n)/n)，并在强化学习任务中得出了一个稀疏嵌入算法。

    May, 2012

  • 通过凸规划在核类上为稀疏加法模型获取极小极值速率

    本文研究了稀疏可加模型的估计方法，通过使用核函数和凸正则化，对在重要条件下估计函数具有良好的表现，同时证明了该方法的最优性并获得了最小极值速率。

    Aug, 2010