稳健稀疏优化的难度和算法
本文证明了 Lasso 的鲁棒性质,并将其与物理属性,即对噪声的保护,联系起来。通过考虑不同的不确定性集合,可以得出Lasso的一般化形式并获得凸优化问题。同时,通过鲁棒性质可以解释为何Lasso解是稀疏的,并且与标准稀疏结果不同。最后,证明了稀疏性和算法稳定性是相互矛盾的,因此Lasso是不稳定的。
Nov, 2008
本文介绍了一种用于在线稀疏线性回归问题的算法,并在每次迭代时使用多项式时间限制来使遗憾较小。结果证明对于任何常数δ> 0,没有算法可以使遗憾在O(T ^(1-δ))以内,即使允许算法访问比最佳稀疏线性回归器更多的特征。
Mar, 2016
提出了一种用于高维度稀疏回归中具有常量分数的自变量和/或响应变量的污染的算法,它是迄今为止的首个这样的算法,利用使用这种算法,我们提供了强健的稀疏回归方法和过滤算法。
May, 2018
通过使用硬阈值化的新颖变体,本文提出了一种快速的鲁棒估计器,可以有效地解决使用响应变量损坏的鲁棒线性回归问题,并通过应用于不同的扰动模型,展示了其估计能力的稳健性。
Mar, 2019
探讨了在普通最小二乘回归中,找到或推翻删除数据集中的小子集会反转系数符号的实用算法;通过实证研究了用于此任务的成熟算法技术在一般线性回归问题和特殊情况下的精确贪婪方法方面的性能,证明这些方法在几个维度的回归问题中优于现有技术并提供了实用的鲁棒性检查;但对于维度为 3 或更高的回归问题中推翻这种小型影响样本存在性的重要任务仍存在显著的计算瓶颈;通过使用源自算法稳健统计的最新创新思想的谱算法在这一挑战中取得了一些进展;总结了在几个挑战数据集中,已知技术的限制,以促进进一步的算法创新。
Jul, 2023
稀疏线性回归(SLR)是一个在统计学中研究得很多的问题,在该问题中,给定一个设计矩阵 X 和一个响应向量 y,目标是寻找一个最小化均方预测误差的 k-稀疏向量 hat(theta),该问题在设计矩阵良好条件下可以通过 L1 松弛方法解决,本文提供了关于所有有效算法的平均情况困难性证据,并基于格问题的最差情况困难性给出了SLR的平均情况困难性证据,同时还讨论了可辨别与不可辨别的情形。
Feb, 2024
本文研究了在同时存在不可知和自适应对手的情况下,稀疏线性回归的有效估计器设计。研究提出了几种稳健算法,在加入高斯噪声的特殊情况下仍超越现有技术,且能在多项式时间内高概率恢复信号,显示出在稀疏设置中具有近乎最优的样本复杂性。
Oct, 2024