ICMLJul, 2018

高维快速参数调整的近似留一法

PDF
TL;DR本文提出了两种框架来解决高维情境下通过加入惩罚项来降低过拟合的问题，同时证明了二者在光滑条件下的等效性，并在多个标准问题中验证了该方法的有效性。
learning schemesloss functionregularizerregularization parameterrisk estimate
发现论文，激发创造
  • 关于参数学习中的最优泛化

    本文提出了一种快速且准确的基于参数学习的交叉验证策略 ALOOCV，并利用其开发了一种基于经验风险最小化框架的正则化优化算法。

    Nov, 2017

  • 通过近似留一法估计可扩展的样本外预测误差

    研究高维环境下的样本外风险估计问题，介绍了一种计算效率高的闭式近似留一法，适用于大多数正则化估计器，并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。

    Jan, 2018

  • 贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

    提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

    Oct, 2023

  • 大数据贝叶斯留一验证

    模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

    Apr, 2019

  • LASSO 中的交叉验证及其加速

    本文利用留一交叉验证的方法，对 LASSO 方法中惩罚项权重的确定进行了研究并提供了两种求解 CV 误差的简单公式，最后将公式应用于超新星实验数据的分析。

    Dec, 2015

  • 低复杂度交叉验证线性收缩协方差矩阵估计

    本文研究线性收缩估计器的参数选择，并提出了数据驱动的交叉验证方法，用于自动选择收缩系数，以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于使用样本协方差矩阵和多种典型收缩目标的收缩设计，还可用于使用一般收缩目标，多个目标和 / 或基于最小二乘法的协方差矩阵估计器的方案，并在数种不同的阵列信号处理问题中展示了应用。

    Oct, 2018

  • 快速计算残差 $ k $- 最近邻回归的留一交叉验证

    我们提出了一种快速计算方法，用于 $k$- 最近邻回归的留一交叉验证（LOOCV）。我们表明，在最近邻的打破平局条件下，$k$- 最近邻回归的 LOOCV 均方误差估计与在训练数据上评估的 $(k+1)$- 最近邻回归的均方误差相同，乘以缩放因子 $(k+1)^2/k^2$。因此，为了计算 LOOCV 分数，只需要拟合 $(k+1)$- 最近邻回归一次，而不需要根据训练数据进行 $k$- 最近邻回归的训练验证重复次数。数值实验证实了该快速计算方法的有效性。

    May, 2024

  • 提高信心，降低失望：用于稀疏回归的新跨验证方法

    提出了一种通过引入置信度修正的变化来减少交叉验证过程中的过度期望风险， 及从混合整数规划中获得可计算的放松， 从而最小化 leave-one-out 误差的方法， 能够比现有方法更快地得到更少误差的结果。

    Jun, 2023

  • 超参数线性回归中的最优加权 L2 正则化

    本文对过参数线性模型中采用广义（加重）岭回归估计系数的预测风险进行了分析，并探讨了在偏好一定系数分布时参数的最优预测，以及过参数现象在主成分回归中的具体表现，进而提出了在无偏估计与最优正则化问题中，加权目标函数方法的优越性。

    Jun, 2020

  • 基于 PDE 的无约束在线学习最优策略

    通过解偏微分方程生成新的势函数，得到一种新的算法，该算法的任何时候的失误上限达到了最佳损失后悔权衡，且避免了不实用的加倍技巧。

    Jan, 2022