广义 LASSO 的平方误差:精确分析
通过求解广义拉索问题,本文提出了一种估算具有非线性且具有噪声、失真测量方式下的信号的新方法,并且提出此方法的表达式为首次精确定义的结果。此外,本文还发现,最小化 LASSO 估计误差的最佳量化器是著名的劳埃德 - 马克斯量化器。
Jun, 2015
本文考虑从具有噪音的线性观测中学习系数向量 x0,通过解决 L1 惩罚的最小二乘问题,即 LASSO 或 BPDN 问题构造一种稀疏估计器 x',对于随机矩阵序列 A,我们证明了 LASSO 的规范风险趋于极限,并获得了该极限的一个显式表达式,并进行了实际数据矩阵的模拟,表明我们的结果在广泛的实际应用中都是相关的。
Aug, 2010
研究了非线性观测信号估计问题,当信号属于高维空间中的低维集合时,可以使用广义 Lasso 方法,针对非线性观测信号进行噪声线性观察建模,通过信号重建结构降低误差,允许信号具有不连续、多义和未知的非线性特征,并允许测量矩阵的行具有未知的协方差矩阵。
Feb, 2015
本文针对多元凸回归函数的非参数最小二乘估计器提出一种基于增广 Lagrange 方法的可扩展算法框架,并且给出了平滑凸的 LSE 拟合(分段仿射)的凸逼近方法及近似质量的形式保证,此外,提出了一种 Lipschitz 凸回归的正则化方案,并研究了所得 LSE 的收敛速度.数值研究表明了本文所提算法的可扩展性。
Sep, 2015
本文从均方误差的角度对 ridgeless interpolation least squares estimator 进行分析,证明相对于样本大小引入大量不重要的参数能够有效降低估计器的均方误差,并且利用回归误差的方差 - 协方差矩阵的迹来刻画估计困难。
May, 2023
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
本研究提出了一个通用且统一的信号重构框架,可以解决高维信号重构中的各种挑战,包括计算感知、信号处理和统计学习等领域,特别是对于不确定的模型不准确性,我们提供了进一步证据,解释为何许多标准估计器在实践中表现出奇异的性能表现。其中我们证明,如果观测值的个数超过了信号分类的有效维度的数量,那么由非线性和嘈杂的 Gaussian 观测值估计出的信号可以达到与理论最优解相同的准确度。
Feb, 2016
研究了在存在 Lipschitz 连续生成模型的情况下,从嘈杂的非线性测量中估计未知的 n 维信号问题。研究表明,非一致恢复保证在 i.i.d. 下成立,并且这种方案可以抵抗对抗性噪声,同时经过推广,可以适用于神经网络生成模型和其他测量模型。
Jun, 2020