关于鲁棒线性回归的高效算法及下界
本文提出了一种统计查询下限技术,用于解决高维学习问题中高斯分布的学习和鲁棒性学习问题,并得出了样本复杂度和计算复杂度之间存在的超多项式差距,同时提供了一个新的方法来解决一些相关的无监督估计和测试问题。
Nov, 2016
本文针对高维高斯分布参数学习问题进行了研究,提出了鲁棒估计算法,在拥有少量恶意样本的情况下实现了 $O(ε)$ 精度的估计,同时也证明了算法的多项式时间复杂度和多项式数量样本要求。
Apr, 2017
通过使用硬阈值化的新颖变体,本文提出了一种快速的鲁棒估计器,可以有效地解决使用响应变量损坏的鲁棒线性回归问题,并通过应用于不同的扰动模型,展示了其估计能力的稳健性。
Mar, 2019
本文研究了协方差矩阵的估计问题,当仅有小部分样本被恶意更改时,我们提出了一种运行时间接近计算经验协方差且具有最佳误差保证的算法,该算法适用于高维分布,能处理高斯分布等深度分布结构及矩阵乘法指数中的病态情形。
Jun, 2019
本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下,基于平方和框架的线性模型学习算法,该算法的收敛速度与扰动的比例成幂率关系,能达到理论最优收敛速度且在先前研究中未被发现。
Jun, 2020
本论文研究线性回归问题并提出了一种新的算法,它能够在存在离群值的情况下,对有限矩(至$L_4$)的样本进行最佳的次高斯误差边界估计,并且通过使用谱方法研究了线性回归问题与最远超平面问题之间的关系,同时引入了第三个经验过程进行统计学属性的研究。
Jul, 2020
研究了高维稳健线性回归问题,在受到对抗性破坏的情况下提出了估计方法,包括样本复杂度,恢复保证,运行时间等关键指标,并利用近期算法发展的加速算法和高斯舍入技术等方法来优化估计器的运行时间和统计样本复杂性。
Jul, 2020
我们研究了在协变量和响应函数都存在重尾污染的情况下, 强鲁棒回归估计器的高维特性。尤其是, 我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布, 提供了M-估计的锐性渐近特性描述。我们表明, 尽管具有一致性, 在存在重尾噪声的高维情形中, 优化调整的Huber损失与位置参数δ是次优的, 强调了需要进一步正则化以达到最佳性能的必要性。这个结果还揭示了δ作为样本复杂性和污染的函数的一个有趣的转变的存在。此外, 我们导出了岭回归的超额风险的衰减速率。我们表明, 对于有限二阶矩的噪声分布, 岭回归虽然是最佳的且适用的, 但当协变量的二阶矩不存在时, 它的衰减速率可能会更快。最后, 我们展示了我们的公式可以方便地推广到更丰富的模型和数据分布, 如对混合模型的任意凸正则化训练的广义线性估计。
Sep, 2023
本文研究了在同时存在不可知和自适应对手的情况下,稀疏线性回归的有效估计器设计。研究提出了几种稳健算法,在加入高斯噪声的特殊情况下仍超越现有技术,且能在多项式时间内高概率恢复信号,显示出在稀疏设置中具有近乎最优的样本复杂性。
Oct, 2024