May, 2024

快速计算残差 $ k $- 最近邻回归的留一交叉验证

PDF
TL;DR我们提出了一种快速计算方法，用于 $k$- 最近邻回归的留一交叉验证（LOOCV）。我们表明，在最近邻的打破平局条件下，$k$- 最近邻回归的 LOOCV 均方误差估计与在训练数据上评估的 $(k+1)$- 最近邻回归的均方误差相同，乘以缩放因子 $(k+1)^2/k^2$。因此，为了计算 LOOCV 分数，只需要拟合 $(k+1)$- 最近邻回归一次，而不需要根据训练数据进行 $k$- 最近邻回归的训练验证重复次数。数值实验证实了该快速计算方法的有效性。
computation methodleave-one-out cross-validationk-nearest neighbours regressionmean square errornumerical experiments
发现论文，激发创造
  • 贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

    提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

    Oct, 2023

  • 低复杂度交叉验证线性收缩协方差矩阵估计

    本文研究线性收缩估计器的参数选择，并提出了数据驱动的交叉验证方法，用于自动选择收缩系数，以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于使用样本协方差矩阵和多种典型收缩目标的收缩设计，还可用于使用一般收缩目标，多个目标和 / 或基于最小二乘法的协方差矩阵估计器的方案，并在数种不同的阵列信号处理问题中展示了应用。

    Oct, 2018

  • 关于参数学习中的最优泛化

    本文提出了一种快速且准确的基于参数学习的交叉验证策略 ALOOCV，并利用其开发了一种基于经验风险最小化框架的正则化优化算法。

    Nov, 2017

  • 高维快速参数调整的近似留一法

    本文提出了两种框架来解决高维情境下通过加入惩罚项来降低过拟合的问题，同时证明了二者在光滑条件下的等效性，并在多个标准问题中验证了该方法的有效性。

    Jul, 2018

  • 通过近似留一法估计可扩展的样本外预测误差

    研究高维环境下的样本外风险估计问题，介绍了一种计算效率高的闭式近似留一法，适用于大多数正则化估计器，并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。

    Jan, 2018

  • 大数据贝叶斯留一验证

    模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

    Apr, 2019

  • LASSO 中的交叉验证及其加速

    本文利用留一交叉验证的方法，对 LASSO 方法中惩罚项权重的确定进行了研究并提供了两种求解 CV 误差的简单公式，最后将公式应用于超新星实验数据的分析。

    Dec, 2015

  • 基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

    本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

    Dec, 2014

  • 早停梯度下降的交叉验证的成功和失败

    分析了在高维最小二乘回归中应用的广义交叉验证（GCV）和留一交叉验证（LOOCV）的统计特性，证明了 GCV 作为早期停止梯度下降的预测风险估计量普遍不一致，而 LOOCV 则沿着梯度下降轨迹一致收敛于预测风险。利用个别 LOOCV 误差，构建了整个梯度下降轨迹上预测误差分布的一致估计量和广泛的误差函数的一致估计量，这特别使得基于 GD 迭代的路径预测区间在培训数据条件下具有渐近正确的名义覆盖率。

    Feb, 2024

  • 测试误差的交叉验证置信区间

    研究了交叉验证的中心极限定理和渐近方差一致估计，为 $k$ 折测试错误的可实现渐近精确置信区间和有效的假设测试提供了理论框架，并且在真实数据实验中表现优异。

    Jul, 2020