Oct, 2017

带正则的体积抽样岭回归下采样

PDF
TL;DR通过协方差矩阵和预测误差，我们提出了一种选择向量子集的新方法，该方法可以使得使用该子集的岭估计在整个数据集上的平均预测误差具有强大的统计保证，而无需昂贵的标签表。同时，我们对一种联合子抽样过程进行扩展，称之为卷积抽样，并加速迭代过程，以实现与主要独立同分布子抽样过程之一的杠杆分数基本相同的效率。最后，我们理论上和实验上证明了，当标签昂贵时，卷积抽样比任何独立同分布抽样具有明显的优势。
linear regressionridge estimatorsubset selectionvolume samplingmean squared prediction error
发现论文，激发创造
  • 迭代反向体积抽样用于线性回归

    这篇论文详细介绍了基于体积采样技术的线性回归问题解决方案，实验证明该算法不仅可行，而且精度较高。

    Jun, 2018

  • 通过体积抽样得到的线性回归无偏估计

    通过体积采样的子矩阵来估计一个满秩矩阵的伪逆，得到一个无偏的估计值以及其协方差。伪逆在解决线性最小二乘问题中起着重要的作用，通过我们的方法，基于采样列的权重向量能够无偏地估计出基于所有列标签的整体问题的最优解，并且建立了线性最小二乘和体积采样之间的基础联系。

    May, 2017

  • 高维正则化回归中的自举和子抽样分析

    研究使用重新采样方法估计统计模型的不确定性，探讨其在高维监督回归任务中的性能，特别关注广义线性模型和过参数化区域下的预测一致性与可靠性。

    Feb, 2024

  • 子采样和岭正则化之间的广义等价性

    本文从套索惩罚和子采样的角度建立它们之间结构和风险的等效关系，通过限制不同的岭正则化系数和子采样比例的路径，证明子采样的二阶统计量和岭回归分析的期望风险是等价的，提供一种基于数据推导的确定等价路径的方法，进一步解决了最近由 Nakkiran 等人提出的关于最优化 - 调整岭回归系数在数据方面比例上是否具有单调预测风险的问题。

    May, 2023

  • 子采样岭回归集成：等效性和广义交叉验证

    本研究探讨了在比例渐近情况下，基于子采样的岭回归集成，通过分析岭回归集合的平方预测风险，证明了岭无偏估计器的预测风险与含所有可能子样本的完整无岭集合的预测风险相匹配，并证明了广义交叉验证对于估计岭回归集成的预测风险具有强一致性。

    Apr, 2023

  • 弱监督下数据选择的统计理论研究

    给定一个大小为 $N$ 的样本，对于统计估计或学习，通常有必要选择一个更小的大小 $n<N$ 的子样本。我们假设给定 $N$ 个未标记的样本和一个能够比随机猜测更好地预测标签 $y_i$ 的 “替代模型”。我们的目标是选择一个子样本集，用于训练模型并通过正则化经验风险最小化进行标签预测。通过在真实和合成数据的混合数值实验以及在低维和高维渐近情况下的数学推导，我们展示：（i）数据选择可以非常有效，某些情况下甚至可以击败在整个样本上进行训练；（ii）某些常见的数据选择方法（例如无偏加权子抽样或基于影响函数的子抽样）可能明显不够优化。

    Sep, 2023

  • 分布的两阶段样本学习理论

    该研究提出了一种简单有效的方法，将概率分布嵌入再应用岭回归 算法来解决分布回归问题，同时证明该方法的稳定性和收敛速度，回答了 15 年来未解决的开放性问题，并涵盖了一系列相关的概率分布问题。

    Feb, 2014

  • 基于 Lewis 加权子采样的 L1 回归

    考虑了只观察到少量标签时，寻找 l1 回归的近似解的问题。我们表明，根据其 Lewis 权重对 X 进行采样并输出经验最小化器可在概率 1-δ 下成功地进行，其中 m>O（1/ε²dlog (d/εδ)）。我们还给出了相应的下界。

    May, 2021

  • 近线性时间内的最优鲁棒线性回归

    研究了高维稳健线性回归问题，在受到对抗性破坏的情况下提出了估计方法，包括样本复杂度，恢复保证，运行时间等关键指标，并利用近期算法发展的加速算法和高斯舍入技术等方法来优化估计器的运行时间和统计样本复杂性。

    Jul, 2020

  • 具有统计保证的快速随机核方法

    本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

    Nov, 2014