贝叶斯超越交叉验证:通过最大化期望实现高效准确的岭回归
提出了一种通过引入置信度修正的变化来减少交叉验证过程中的过度期望风险, 及从混合整数规划中获得可计算的放松, 从而最小化 leave-one-out 误差的方法, 能够比现有方法更快地得到更少误差的结果。
Jun, 2023
本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用,通过 Laplace method 或 expectation propagation 方法来估计与推断,旨在评估快速方法的准确性和可靠性。实证结果表明,基于 LOO 边缘分布(cavity distribution)的高斯近似法可获得最准确可靠结果。
Dec, 2014
我们提出了一种快速计算方法,用于 $k$- 最近邻回归的留一交叉验证(LOOCV)。我们表明,在最近邻的打破平局条件下,$k$- 最近邻回归的 LOOCV 均方误差估计与在训练数据上评估的 $(k+1)$- 最近邻回归的均方误差相同,乘以缩放因子 $(k+1)^2/k^2$。因此,为了计算 LOOCV 分数,只需要拟合 $(k+1)$- 最近邻回归一次,而不需要根据训练数据进行 $k$- 最近邻回归的训练验证重复次数。数值实验证实了该快速计算方法的有效性。
May, 2024
本文研究线性收缩估计器的参数选择,并提出了数据驱动的交叉验证方法,用于自动选择收缩系数,以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于使用样本协方差矩阵和多种典型收缩目标的收缩设计,还可用于使用一般收缩目标,多个目标和 / 或基于最小二乘法的协方差矩阵估计器的方案,并在数种不同的阵列信号处理问题中展示了应用。
Oct, 2018
本文提出了一个基于并行哈密顿模拟的量子算法以及 $K$ 倍交叉验证方法来优化岭回归 (Ridge Regression) 并进行预测性能评估,该算法对于非稀疏数据矩阵具有高效处理的能力,并且对于低秩矩阵且条件数较低的数据矩阵可以实现指数级加速,但对于条件数较高的数据矩阵只能实现多项式级加速。
Jul, 2017
本文利用留一交叉验证的方法,对 LASSO 方法中惩罚项权重的确定进行了研究并提供了两种求解 CV 误差的简单公式,最后将公式应用于超新星实验数据的分析。
Dec, 2015
本研究探讨了线性回归中带有 L2 正则化的问题,每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数,通过计算交叉验证准则相对于正则化超参数的梯度,使用矩阵微分学进行解析计算。此外,我们引入了两种针对稀疏模型学习问题的策略,旨在减少过度拟合验证数据的风险。数值示例表明,我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外,与自动微分相比,梯度的解析计算在计算时间方面更加高效,特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。
Nov, 2023