Apr, 2019

利用 $\ell_1$ 惩罚的 Huber $M$ 估计器对稀疏线性模型进行异常值鲁棒性估计

HTML
PDF
TL;DR研究了在高斯设计和加性噪声的线性模型中，估计一个 p-维 s-稀疏向量的问题，证明当标签受到至多o个敌对异常数据的污染时，基于n个样本的L1惩罚Huber's M-估计量达到最优的收敛速率(s / n)^ {1/2} +（o / n），更一般的设计矩阵结果强调了转移原则和无相干性质的重要性，并证明适当的常数加上这些属性可以实现最优的强鲁棒估计率，最高可达对数因子，具有敌对扰动。
发现论文，激发创造
  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于SoS方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • 高维稳健稀疏回归

    提出了一种用于高维度稀疏回归中具有常量分数的自变量和/或响应变量的污染的算法，它是迄今为止的首个这样的算法，利用使用这种算法，我们提供了强健的稀疏回归方法和过滤算法。

    May, 2018

  • 利用 L1 回归进行对抗稀疏噪声的压缩感知

    本文提供了一个简单有效的算法来解决稀疏鲁棒线性回归问题，即从被稀疏噪声干扰的线性测量中估计一个稀疏的向量，对于高斯测量，基于L1回归的简单算法可以成功地估计任何小于0.239的锁定率，而该算法所需的测量数为O(klog(n/k))个，能够同时估计稀疏和稠密的w*，容忍大常数分数的离群值和对抗性而非分配性（例如，高斯）稠密噪声。

    Sep, 2018

  • 自适应硬阈值近似最优一致鲁棒回归

    通过使用硬阈值化的新颖变体，本文提出了一种快速的鲁棒估计器，可以有效地解决使用响应变量损坏的鲁棒线性回归问题，并通过应用于不同的扰动模型，展示了其估计能力的稳健性。

    Mar, 2019

  • 通过迭代滤波进行异常值鲁棒的高维稀疏估计

    研究高维稀疏估计任务中的鲁棒性问题，提出使用基于谱技术的迭代式方法消除数据中的离群值，实现高效稳健的稀疏均值估计和稀疏主成分分析。

    Nov, 2019

  • 当没有预警的异常值压倒时的连贯回归

    研究了具有重尾噪声分布的健壮线性回归模型，提出了Huber损失估计器，证明其在样本量近线性和异常值分数倒数多项式情况下具有一致性。

    Sep, 2020

  • 在存在异常值的情况下，鲁棒性经验风险最小化性能的渐近特征

    本文研究高维度的鲁棒线性回归，包括离群值和使用标准损失函数的经验风险最小化（ERMs）方法。结果显示，在相似数据集上，经过最优正则化的ERM在大样本复杂性极限下是渐近一致的，但在评估误差方面，由于规范标定的失配，估计器的一致性要求完美计算最优规范的预估值或存在未受离群值污染的交叉验证集。不同的损失函数在最优性能的使用情况下提供了有关使用情况的见解。

    May, 2023

  • 稳健稀疏均值估计的次二次时间算法

    稀疏均值估计算法在存在对抗性异常值的情况下的研究，提出了一种在次二次时间内运行的鲁棒稀疏均值估计算法，并在检测弱相关性方面取得了算法进展。

    Mar, 2024

  • Huber污染下高斯稀疏估计的鲁棒性优化错误

    高斯稀疏估计在Huber污染模型中研究，针对均值估计、主成分分析和线性回归三个任务，提出了第一个样本和计算高效的鲁棒估计器，保证了较小的误差，并且在常数因子内达到最优。之前针对这些任务的高效算法都产生了数量上次优的误差。具体而言，对于高斯的鲁棒k稀疏均值估计在具有污染率为ε>0的R^d上，我们的算法具有样本复杂度为 (k^2/ε^2)·polylog(d/ε)，在多项式时间内运行，并且在L2误差为O(ε)的范围内逼近目标均值。之前的高效算法固有地产生了误差Ω(ε√log(1/ε))。在技术层面上，我们开发了一种在稀疏情况下的新型多维过滤方法，可能具有其他应用。

    Mar, 2024

  • 具有非同质设计的稳健稀疏回归

    本文研究了在同时存在不可知和自适应对手的情况下，稀疏线性回归的有效估计器设计。研究提出了几种稳健算法，在加入高斯噪声的特殊情况下仍超越现有技术，且能在多项式时间内高概率恢复信号，显示出在稀疏设置中具有近乎最优的样本复杂性。

    Oct, 2024