Jun, 2023

提高信心，降低失望：用于稀疏回归的新跨验证方法

PDF
TL;DR提出了一种通过引入置信度修正的变化来减少交叉验证过程中的过度期望风险， 及从混合整数规划中获得可计算的放松， 从而最小化 leave-one-out 误差的方法， 能够比现有方法更快地得到更少误差的结果。
ridge regularized sparse regressionlinear regressorshyperparameter tuningconfidence-adjusted variantscoordinate descent scheme
发现论文，激发创造
  • 贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

    提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

    Oct, 2023

  • 高维快速参数调整的近似留一法

    本文提出了两种框架来解决高维情境下通过加入惩罚项来降低过拟合的问题，同时证明了二者在光滑条件下的等效性，并在多个标准问题中验证了该方法的有效性。

    Jul, 2018

  • LASSO 中的交叉验证及其加速

    本文利用留一交叉验证的方法，对 LASSO 方法中惩罚项权重的确定进行了研究并提供了两种求解 CV 误差的简单公式，最后将公式应用于超新星实验数据的分析。

    Dec, 2015

  • 低复杂度交叉验证线性收缩协方差矩阵估计

    本文研究线性收缩估计器的参数选择，并提出了数据驱动的交叉验证方法，用于自动选择收缩系数，以最小化估计误差的弗罗贝尼乌斯范数。该方法不仅适用于使用样本协方差矩阵和多种典型收缩目标的收缩设计，还可用于使用一般收缩目标，多个目标和 / 或基于最小二乘法的协方差矩阵估计器的方案，并在数种不同的阵列信号处理问题中展示了应用。

    Oct, 2018

  • 关于参数学习中的最优泛化

    本文提出了一种快速且准确的基于参数学习的交叉验证策略 ALOOCV，并利用其开发了一种基于经验风险最小化框架的正则化优化算法。

    Nov, 2017

  • 一种统一的动态方法用于稀疏模型选择

    本文提出一种简单的迭代正则化路径方法，通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态，在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上，其性能与 glment 相当，进一步减小了偏差。

    Oct, 2018

  • 分布偏差对留一交叉验证的影响

    通过研究我们发现，在机器学习模型的性能评估中，交叉验证方法会引入分布偏差现象，导致性能评估及超参数优化受到负面影响。为了解决这个问题，我们提出了一个通用的校正分布偏差的交叉验证方法，并通过合成模拟和多个已发布的实验验证结果。

    Jun, 2024

  • 预验证岭回归是高维数据逻辑回归的高效替代方案

    给定一篇研究论文，从中提取出代表其主要主题和研究领域的五个关键词，并用一句简明扼要的中文句子对论文进行总结。

    Jan, 2024

  • 高维线性回归的置信区间：极小极大速率和适应性

    本研究主要考虑了随机设计下高维线性回归的置信区间问题，并探讨了置信区间的自适应性与稀疏性的关系以及最小二乘法下最小极大期望长度方法的应用。

    Jun, 2015

  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022