Feb, 2019

超越最小二乘法：通过自协调快速收敛正则化经验风险最小化

PDF
TL;DR通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。
regularizationhilbertian normself-concordancebias-variance decompositionnon-gaussian predictors
发现论文，激发创造
  • 自协调分析用于 logistic 回归

    该研究论文探讨了如何使用凸优化方法和自协调函数对正方形误差和逻辑损失进行理论分析，并将这些方法应用于逻辑回归中，通过结果表明二元分类的新结果可以从最小二乘回归中轻松衍生。

    Oct, 2009

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 基于方差的正则化与凸优化目标

    通过使用分布鲁棒优化和 Owen 的经验似然的技术，我们开发了一种风险最小化和随机优化的方法，提供了一个凸代理来实现方差的降低，实现了近乎最优和计算效率之间的权衡，我们给出了一些有限样本和渐近结果来表征估计器的理论性能。

    Oct, 2016

  • 正则化最小二乘算法的 Sobolev 范数学习率

    本文针对最小二乘回归中的 $L_2$-norms，将其扩展至更强的 norms，而无需将回归函数包含在假设空间中。特别地，在用作假设空间的 Sobolev 重现核希尔伯特空间的特殊情况下，这些更强的 norms 与所使用的 Sobolev 空间和 $L_2$ 之间的分数 Sobolev norms 一致，从技术角度来看，我们将已知的积分算子技术与内嵌属性相结合，这种方法迄今仅在经验过程论证明中使用过。这种组合结果产生了相对于更强的 norms 的新的有限样本边界。从这些有限样本边界出发可以轻松得出我们的学习率。最后，我们证明了在许多情况下我们的结果的渐近最优性。

    Feb, 2017

  • 非正则化：经验风险最小化的近端点近似和更快的随机算法

    本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

    Jun, 2015

  • 核共轭梯度回归的最优学习率

    研究了基于核的最小二乘回归以及通过早期停止进行过度拟合的正则化的共轭梯度算法，并提出了该方法的收敛率，如果真实回归函数属于再生核希尔伯特空间，则其上限可以匹配之前文献中获得的下限.

    Sep, 2010

  • 学习无需集中注意力

    通过小球假设，本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下，对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例，并且当应用于经典的有限场景时总是会改善已知的边界。

    Jan, 2014

  • 稀疏深度神经网络的统计学习

    基于经验风险最小化与 l_1 正则化的深度神经网络估计器，我们推导出其在回归和分类（包括多类别）中的过量风险的一般界限，并证明它在各种函数类的整个范围内几乎达到最小值（取对数因子）。

    Nov, 2023

  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008