稳健稀疏均值估计的次二次时间算法
本文研究在高维度及受到恶意破坏性干扰情况下,稀疏估计任务能否有效地完成,并提供了一些在存在噪音的情况下,提供非平凡误差保证的有效算法。研究表明,在这些问题上存在着计算与统计之间的差距。
Feb, 2017
提出了一种用于高维度稀疏回归中具有常量分数的自变量和/或响应变量的污染的算法,它是迄今为止的首个这样的算法,利用使用这种算法,我们提供了强健的稀疏回归方法和过滤算法。
May, 2018
本文提供了一个简单有效的算法来解决稀疏鲁棒线性回归问题,即从被稀疏噪声干扰的线性测量中估计一个稀疏的向量,对于高斯测量,基于L1回归的简单算法可以成功地估计任何小于0.239的锁定率,而该算法所需的测量数为O(klog(n/k))个,能够同时估计稀疏和稠密的w*,容忍大常数分数的离群值和对抗性而非分配性(例如,高斯)稠密噪声。
Sep, 2018
本文针对高维下平均数估计的稳健模型、对抗性污染和相应算法进行研究,提出了一种基于当前猜测值参数化的SDP族的自然算法,并经证明该算法在次线性时间内逼近真实平均数并达到了理论误差的信息论最优解,同时认为该算法还能进一步实现高维稳健学习问题的次线性时间算法。
Nov, 2018
研究了在高斯设计和加性噪声的线性模型中,估计一个 p-维 s-稀疏向量的问题,证明当标签受到至多o个敌对异常数据的污染时,基于n个样本的L1惩罚Huber's M-估计量达到最优的收敛速率(s / n)^ {1/2} +(o / n),更一般的设计矩阵结果强调了转移原则和无相干性质的重要性,并证明适当的常数加上这些属性可以实现最优的强鲁棒估计率,最高可达对数因子,具有敌对扰动。
Apr, 2019
本文研究了协方差矩阵的估计问题,当仅有小部分样本被恶意更改时,我们提出了一种运行时间接近计算经验协方差且具有最佳误差保证的算法,该算法适用于高维分布,能处理高斯分布等深度分布结构及矩阵乘法指数中的病态情形。
Jun, 2019
本论文研究线性回归问题并提出了一种新的算法,它能够在存在离群值的情况下,对有限矩(至$L_4$)的样本进行最佳的次高斯误差边界估计,并且通过使用谱方法研究了线性回归问题与最远超平面问题之间的关系,同时引入了第三个经验过程进行统计学属性的研究。
Jul, 2020
本文提出了一种简单的平均值估计方法,可以在 moderate 条件下克服现有估计器面临的计算和统计问题,并基于增量学习现象推导出匹配信息理论下界。
May, 2023
高斯稀疏估计在Huber污染模型中研究,针对均值估计、主成分分析和线性回归三个任务,提出了第一个样本和计算高效的鲁棒估计器,保证了较小的误差,并且在常数因子内达到最优。之前针对这些任务的高效算法都产生了数量上次优的误差。具体而言,对于高斯的鲁棒k稀疏均值估计在具有污染率为ε>0的R^d上,我们的算法具有样本复杂度为 (k^2/ε^2)·polylog(d/ε),在多项式时间内运行,并且在L2误差为O(ε)的范围内逼近目标均值。之前的高效算法固有地产生了误差Ω(ε√log(1/ε))。在技术层面上,我们开发了一种在稀疏情况下的新型多维过滤方法,可能具有其他应用。
Mar, 2024