利用平滑乘法噪音的鲁棒下降

Oct, 2018

Robust descent using smoothed multiplicative noise

Matthew J. Holland

TL;DR该研究提出了一种新型的鲁棒梯度下降算法，采用直接对观测值施加平滑的乘性噪声，构建软截断梯度坐标之和的方式，使其具有与传统方法相当的理论保证和更高的数据分布类别广泛性能。

Abstract

To improve the off-sample generalization of classical procedures minimizing the empirical risk under potentially heavy-tailed data, new robust learning algorithms have been proposed in recent years, with generalized median-of-means strategies being particularly salient. These procedures enjoy performance guarantees in the form of sharp risk bounds under weak

robust learning algorithms generalized median-of-means strategies gradient descent procedure soft-truncated gradient coordinates efficient generalization

发现论文，激发创造

鲁棒梯度下降的高效学习

提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

Jun, 2017

带噪声的改进高斯 - 牛顿算法

本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。

May, 2023

用平均数中位数保障的机器学习：理论与实践

使用中位数估计器介绍了一种新的鲁棒机器学习估计器，能够在最小数据集假设下实现最佳收敛率，这一方法通过分析异常值而得出。该研究提出一个新的断点概念，该断点数量考虑了估计器的统计性能，同时提高了算法的可实现性。

Nov, 2017

广义拟梯度法的鲁棒估计

研究表明，在许多鲁棒性估计问题中，即使基础优化问题是非凸的，这些问题也能够有效地解决。研究这些鲁棒性估计问题的损失景观，并确定了存在 “广义拟梯度” 的情况。对于分布的鲁棒均值估计，我们证明了一阶稳定点是近似全局最小值，如果损坏水平小于 $1/3$；对于其他任务，包括线性回归和联合均值和协方差估计，我们显示了广义拟梯度的存在，并构建了有效的算法。

May, 2020

贝叶斯非参数统计遇见数据驱动的鲁棒优化

通过将贝叶斯非参数理论和最近一些决策理论模型的平滑模糊厌恶偏好相结合，我们提出了一种新颖的鲁棒准则，并与标准的正则化经验风险最小化技术之间建立了新颖的联系，从而为优化过程提供了有利的有限样本和渐进统计保证。

Jan, 2024

高维广义线性模型中的鲁棒估计

该研究介绍了一种基于变换的确定性鲁棒初始估计方法及其对应的迭代加权最小二乘算法，用于解决存在异常值时基于最大似然估计的广义线性模型中初始估计不准确的问题。

Sep, 2017

拜占庭容错分布式学习：追求最优的统计速率

本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

Mar, 2018

通过块坐标几何中位下降实现高维度的稳健训练

本文展示了在高维优化问题中，通过将几何中位数只应用于精心选择的坐标块并使用记忆机制，可以保留 0.5 的最优破坏点，以及与 Gm 的 SGD 具有可比的非渐近收敛速率。

Jun, 2021

鲁棒回归再探：加速与改进的估计速率

本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

Jun, 2021

通过健壮的梯度估计实现健壮的估计

文章提出了一种新的，计算高效的风险极小化估计器类别，展示了它们在一般统计模型中的鲁棒性，特别地，在经典的 Huber epsilon 污染模型和重尾情况下。提出的核心是一种新型的鲁棒梯度下降算法，还给出了它在一般凸风险极小化问题中提供准确估计的条件，并以线性回归、逻辑回归和指数族中的规范参数估计为例。最后，在合成和实际数据集上研究了这种方法的实证表现，发现其比多种基线方法更具说服力。

Feb, 2018