Jun, 2020

核对齐风险估计器：从训练数据中预测风险

PDF
TL;DR通过 KRR、SCT 和 KARE 的引入，利用 Wishart 随机矩阵的 Stieltjes 变换进行有限尺度分析，得出一个 KRR 风险的近似值，同时基于这个近似值提供了一种有前景的选择如何进行 Kernels 建设的数据依赖性程序。
kernel ridge regressionrisk estimationsignal capture thresholdkernel alignment risk estimatoruniversality assumption
发现论文，激发创造
  • 一种核岭回归的非渐进理论：确定性等效、测试误差和 GCV 估计器

    通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

    Mar, 2024

  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 随机特征模型的隐式正则化

    本文探讨了随机特征模型和核岭回归之间的联系，并发现了有限 RF 取样的隐式正则化效应，同时对比了使用 KRR 预测器的风险和使用 RF 预测器的平均风险并获得了它们之间差异的明确界限，最终在实验中发现了平均 λ-RF 预测和 tilde λ-KRR 预测器之间的极好一致性。

    Feb, 2020

  • 有限秩核岭回归的测试误差的理论分析

    对于任何有限秩核岭回归 (KRR)，我们导出了尖锐的非渐近上下界来衡量其测试误差，并与之前的结果相比，我们的界限更紧密且适用于任何正则化参数。

    Oct, 2023

  • 谱算法的泛化误差

    研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

    Mar, 2024

  • 核风险敏感损失函数：定义，特性及其在鲁棒自适应滤波中的应用

    本文提出了一种新的核空间相似度衡量方法 —— 核风险敏感损失，并将其应用于自适应滤波和鲁棒性研究，发现相比于 correntropy，KRSL 不仅能够在梯度法中提高收敛速度和精度，而且还能减少异常值的影响。理论分析结果和仿真实验证明了该算法的优异性能。

    Aug, 2016

  • （核）岭回归过拟合成本的无神论观点

    本文通过分析基于高斯全局性假设的非严谨风险估计来探究噪声核岭回归中过拟合的代价，并对其进行了更精细的分类：良性、温和和灾难性过拟合。

    Jun, 2023

  • 核均值匹配在协变量转移下的分析

    针对一种特定的协变量偏移问题，该研究利用核均值匹配 (KMM) 估计器的高概率置信界推导出该估计器的收敛速率，并与自然插值估计器进行比较，结果表明其具有更好的效果和应用价值。

    Jun, 2012

  • 基于核岭回归的数据集元学习

    用 KIP 算法从大规模数据集中提取出适合于训练机器学习模型的小规模数据集且在保持模型性能的同时可以大幅减小数据集容量的同时可以实现隐私保护，该算法在 MNIST 和 CIFAR-10 的分类中获得了最先进的结果。

    Oct, 2020