鲁棒回归再探:加速与改进的估计速率
本论文研究线性回归问题并提出了一种新的算法,它能够在存在离群值的情况下,对有限矩(至 $L_4$)的样本进行最佳的次高斯误差边界估计,并且通过使用谱方法研究了线性回归问题与最远超平面问题之间的关系,同时引入了第三个经验过程进行统计学属性的研究。
Jul, 2020
提出一种基于平均加速正则梯度下降的算法,通过细化初值和 Hessian 矩阵的假设,最优地优化回归问题,并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O(1/n2)以及对于维度 d 的依赖程度为 O(d/n)。
Feb, 2016
本文首次给出了一个多项式时间算法,用于在示例和标签中对抗性堕落下执行线性或多项式回归,并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。
Mar, 2018
本文研究加速随机梯度方法在最小二乘回归问题中的应用,通过对加速随机梯度下降作为随机过程的深入分析,证明了引入加速能够使其对统计误差具有鲁棒性,并提出了一种优于随机梯度下降的加速随机梯度方法。
Apr, 2017
文章提出了一种新的,计算高效的风险极小化估计器类别,展示了它们在一般统计模型中的鲁棒性,特别地,在经典的 Huber epsilon 污染模型和重尾情况下。提出的核心是一种新型的鲁棒梯度下降算法,还给出了它在一般凸风险极小化问题中提供准确估计的条件,并以线性回归、逻辑回归和指数族中的规范参数估计为例。最后,在合成和实际数据集上研究了这种方法的实证表现,发现其比多种基线方法更具说服力。
Feb, 2018
本文提出了一种基于加速梯度下降的新随机逼近算法,该算法在非强凸情况下取得了最佳预测误差率,并在加速遗忘初始条件方面达到了最优效果,同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果,该算法还在无噪声环境下提供了一个匹配下界,展示了我们算法的最优性。
Mar, 2022
本文研究了在线情况下健壮线性回归问题,提出了一种基于随机梯度下降方法和 L1 损失函数的高效算法,能够在存在污染数据情况下有效检测和去除异常值,算法复杂度与污染比例相关。
Jul, 2020
本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下,基于平方和框架的线性模型学习算法,该算法的收敛速度与扰动的比例成幂率关系,能达到理论最优收敛速度且在先前研究中未被发现。
Jun, 2020
研究了高维稳健线性回归问题,在受到对抗性破坏的情况下提出了估计方法,包括样本复杂度,恢复保证,运行时间等关键指标,并利用近期算法发展的加速算法和高斯舍入技术等方法来优化估计器的运行时间和统计样本复杂性。
Jul, 2020