基于 SGD 的 l1 损失在线鲁棒回归
本文提供了一个简单有效的算法来解决稀疏鲁棒线性回归问题，即从被稀疏噪声干扰的线性测量中估计一个稀疏的向量，对于高斯测量，基于 L1 回归的简单算法可以成功地估计任何小于 0.239 的锁定率，而该算法所需的测量数为 O (klog (n/k)) 个，能够同时估计稀疏和稠密的 w*，容忍大常数分数的离群值和对抗性而非分配性（例如，高斯）稠密噪声。
Sep, 2018
提出了 SGD-exp，这是一种用于线性和 ReLU 回归的随机梯度下降方法，适用于完全流式设置下的 Massart 噪声（对抗性半随机破坏模型）。我们展示了 SGD-exp 对真实参数的新近线性收敛保证，在高达 50% 的 Massart 破坏率以及对称无知破坏的任何破坏率的情况下。这是首个针对流式设置中鲁棒 ReLU 回归的收敛保证结果，并且它展示了相对于之前鲁棒 L1 线性回归方法的收敛速度的改善，因为选择了指数衰减的步长，它在实践中具有高效性。我们的分析基于离散随机过程的漂移分析，这本身也可能很有趣。
Mar, 2024
本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。
Mar, 2018
研究了高维稳健线性回归问题，在受到对抗性破坏的情况下提出了估计方法，包括样本复杂度，恢复保证，运行时间等关键指标，并利用近期算法发展的加速算法和高斯舍入技术等方法来优化估计器的运行时间和统计样本复杂性。
Jul, 2020
在线统计推断使得实时分析顺序采集的数据成为可能，本文引入了一种针对高维广义线性模型的在线推断新方法，通过在每次新增数据到达时更新回归系数估计和其标准误差，与现有方法相比，该方法以单次传递模式运行，大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法，结合了一种新型的在线去偏过程，能够在有效控制由动态变化的损失函数引入的优化误差的同时，保持低维度的摘要统计量。我们的方法，即近似去偏套索（ADL），不仅减轻了有界个别概率条件的需求，而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。
May, 2024
本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。
Aug, 2020
通过使用硬阈值化的新颖变体，本文提出了一种快速的鲁棒估计器，可以有效地解决使用响应变量损坏的鲁棒线性回归问题，并通过应用于不同的扰动模型，展示了其估计能力的稳健性。
Mar, 2019
本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。
Apr, 2023