鲁棒梯度下降的高效学习

Jun, 2017

Efficient learning with robust gradient descent

Matthew J. Holland, Kazushi Ikeda

TL;DR提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

Abstract

Minimizing the empirical risk is a popular training strategy, but for learning tasks where the data may be noisy or heavy-tailed, one may require many observations in order to generalize well. To achieve better performance under less stringent requirements, we introduce a procedure whi

empirical risk robust approximation iterative learning excess risk generalization

发现论文，激发创造

泰勒学习

本文介绍了一种不使用梯度下降或经验风险最小化技术来构建模型的学习算法，以构建实分析函数模型为例，将熟悉的泰勒逼近方法置于从分布中抽样数据的情境中，并证明了该学习结果的非均匀性。

May, 2023

鲁棒性经验风险最小化中过度风险界

本文研究了经验风险极小化算法的鲁棒版本，提出了基于代理替换的统计方法，以解决样本中存在离群值的情况，并且在回归问题上的表现得到了检验。

Oct, 2019

通过健壮的梯度估计实现健壮的估计

文章提出了一种新的，计算高效的风险极小化估计器类别，展示了它们在一般统计模型中的鲁棒性，特别地，在经典的 Huber epsilon 污染模型和重尾情况下。提出的核心是一种新型的鲁棒梯度下降算法，还给出了它在一般凸风险极小化问题中提供准确估计的条件，并以线性回归、逻辑回归和指数族中的规范参数估计为例。最后，在合成和实际数据集上研究了这种方法的实证表现，发现其比多种基线方法更具说服力。

Feb, 2018

利用平滑乘法噪音的鲁棒下降

该研究提出了一种新型的鲁棒梯度下降算法，采用直接对观测值施加平滑的乘性噪声，构建软截断梯度坐标之和的方式，使其具有与传统方法相当的理论保证和更高的数据分布类别广泛性能。

Oct, 2018

大规模经验风险最小化的加速双随机梯度算法

本研究提出了一种双重随机算法，使用新的加速多动量技术来解决学习任务中的大规模经验风险最小化问题，各迭代只访问一小批样本和同时更新一小块变量坐标，从而在同时涉及海量样本大小和超高维度时显著减少了内存引用量，实证研究也说明了该方法在实践中的高效性。

Apr, 2023

有序 SGD: 一种新的经验风险最小化随机优化框架

论文提出了一种新的随机优化方法，它有针对性地偏向于高损失值的观测结果，并证明该算法对于凸损失具有亚线性收敛率，对于弱凸损失（非凸）具有关键点，同时在 SVM、逻辑回归和深度学习等模型中获得了更好的测试误差。

Jul, 2019

学习无需集中注意力

通过小球假设，本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下，对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例，并且当应用于经典的有限场景时总是会改善已知的边界。

Jan, 2014

分布鲁棒学习的无偏梯度估计

通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

Dec, 2020

关于经验风险局部极小值的研究

该文提出了一种基于随机梯度下降（SGD）的简单算法，旨在在只有点实现度量上接近总体风险而不具备总体风险时，找到基础函数的 epsilon - 近似局部极小值，从而避免我们所谓的浅局部极小值。

Mar, 2018

广义线性问题的可扩展近似

本文讨论了随机优化中的种群风险以及解决大规模问题中经验风险计算的困难，提出了一种基于随机梯度下降算法的解决方案，以 OLS 估计器为基础进行最小化种群风险的近似。

Nov, 2016