Jul, 2023

线性回归实用鲁棒性审计探讨

PDF
TL;DR探讨了在普通最小二乘回归中，找到或推翻删除数据集中的小子集会反转系数符号的实用算法；通过实证研究了用于此任务的成熟算法技术在一般线性回归问题和特殊情况下的精确贪婪方法方面的性能，证明这些方法在几个维度的回归问题中优于现有技术并提供了实用的鲁棒性检查；但对于维度为 3 或更高的回归问题中推翻这种小型影响样本存在性的重要任务仍存在显著的计算瓶颈；通过使用源自算法稳健统计的最新创新思想的谱算法在这一挑战中取得了一些进展；总结了在几个挑战数据集中，已知技术的限制，以促进进一步的算法创新。
发现论文，激发创造
  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • 稳健稀疏优化的难度和算法

    研究稀疏优化问题中的算法和局限性，探索稀疏线性回归和鲁棒线性回归问题，在此基础上展示了鲁棒回归问题的二准则、NP - 近似困难性，给出了一个使用近似最近邻数据结构的鲁棒回归算法，并且介绍了一个从鲁棒线性回归到稀疏线性回归的通用带宽率约化算法。

    Jun, 2022

  • 使用亚高斯率的光谱算法进行稳健回归

    本论文研究线性回归问题并提出了一种新的算法，它能够在存在离群值的情况下，对有限矩（至 $L_4$）的样本进行最佳的次高斯误差边界估计，并且通过使用谱方法研究了线性回归问题与最远超平面问题之间的关系，同时引入了第三个经验过程进行统计学属性的研究。

    Jul, 2020

  • 鲁棒回归再探：加速与改进的估计速率

    本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

    Jun, 2021

  • 关于鲁棒线性回归的高效算法及下界

    研究了高维线性回归在对抗性污染下的稳健模型问题，并针对从高斯分布生成的未被修正的样本的基本情况给出了几乎最紧的上界和计算下界。

    May, 2018

  • 污染线性模型下的快速和鲁棒最小二乘估计

    本论文提出了一种基于数据点权重的子采样算法，通过控制高影响因子的点对残差误差的贡献，以加速最小二乘估计。实验证明该算法在处理受损观测值时相对于现有的算法有更好的近似性能。

    Jun, 2014

  • 回归问题的运行时间保证

    本文研究在推理问题中广泛存在的一类优化问题的理论运行时间保证，这些问题受 Lasso 框架的启发，具有机器学习和计算机视觉应用。我们通过算法图论的核心问题来展示这些问题之间的密切联系。最后，我们提出了一些关于图像处理问题的实验结果。

    Oct, 2011

  • 不完全统计扰动：私有最小二乘的稳定估计器

    我们提出了一个针对普通最小二乘问题的样本和时间高效的差分隐私算法，误差线性依赖于维度并且与 $X^ op X$ 的条件数无关，其中 $X$ 是设计矩阵。我们的算法具有接近最优的准确性保证，适用于具有有限统计杠杆率和有界残差的任何数据集。

    Apr, 2024

  • 差分隐私简单线性回归

    通过使用差分隐私，我们在小型数据集的情况下训练针对经济研究的简单线性回归的算法，在不牺牲数据隐私的情况下获得较高的性能。

    Jul, 2020

  • 逻辑回归的可证明准确性随机抽样算法

    在统计学和机器学习领域，逻辑回归是一种广泛应用于二分类任务的监督学习技术。本研究提出一种基于随机抽样的简单算法，针对逻辑回归问题，确保对模型的预测概率和整体差异都能得到高质量的近似。研究分析了当采用杠杆得分对观测数据进行抽样时，逻辑回归的预测概率的属性，并证明可以通过样本规模远小于总观测数据量来实现准确的近似。通过全面的实证评估验证了我们的理论发现，研究为在大规模数据集上高效近似逻辑回归的预测概率提供了实用和计算高效的解决方案。

    Feb, 2024