研究了在存在 Lipschitz 连续生成模型的情况下,从嘈杂的非线性测量中估计未知的 n 维信号问题。研究表明,非一致恢复保证在 i.i.d. 下成立,并且这种方案可以抵抗对抗性噪声,同时经过推广,可以适用于神经网络生成模型和其他测量模型。
Jun, 2020
本研究提出了一个通用且统一的信号重构框架,可以解决高维信号重构中的各种挑战,包括计算感知、信号处理和统计学习等领域,特别是对于不确定的模型不准确性,我们提供了进一步证据,解释为何许多标准估计器在实践中表现出奇异的性能表现。其中我们证明,如果观测值的个数超过了信号分类的有效维度的数量,那么由非线性和嘈杂的 Gaussian 观测值估计出的信号可以达到与理论最优解相同的准确度。
Feb, 2016
通过求解广义拉索问题,本文提出了一种估算具有非线性且具有噪声、失真测量方式下的信号的新方法,并且提出此方法的表达式为首次精确定义的结果。此外,本文还发现,最小化 LASSO 估计误差的最佳量化器是著名的劳埃德 - 马克斯量化器。
Jun, 2015
本文提出了一种简化的半参数单指数模型,用于信号处理中的估计问题,理论基于可行集的平均宽度并通过线性估计和度量投影实现,即使在高噪声情形下,未知的非线性关系也不会显著降低确定信号的能力。
Apr, 2014
本文考虑从具有噪音的线性观测中学习系数向量 x0,通过解决 L1 惩罚的最小二乘问题,即 LASSO 或 BPDN 问题构造一种稀疏估计器 x',对于随机矩阵序列 A,我们证明了 LASSO 的规范风险趋于极限,并获得了该极限的一个显式表达式,并进行了实际数据矩阵的模拟,表明我们的结果在广泛的实际应用中都是相关的。
Aug, 2010
研究了具有 Lipschitz 损失函数的高维广义线性模型,并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数,在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。
Apr, 2008
本文提出了两种新颖的方法,分别基于 max-sum GAMP 算法和 sum-product GAMP 算法,用于从有噪声线性测量中恢复稀疏信号,且信号为非负且受给定线性等式约束,例如 simplex 信号。两种方法的实验表明,提出的方法具有最先进的性能。
Oct, 2013
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质,并提出了自适应方案以获得一致的模型估计。
Jul, 2007
从非线性和含噪声观测中估计一个低秩矩阵的任务中,我们证明了一个强普适性结果,表明贝叶斯最优性能可由一个等效的高斯模型表示,其先验参数完全由非线性函数的展开所确定。特别地,我们展示了为了准确重建信号,需要一个随着 $ N^{rac 12 (1-1/k_F)}$ 增长的信噪比,其中 $k_F$ 是函数的第一个非零 Fisher 信息系数。我们提供了最小可实现均方误差(MMSE)的渐近特征及一个类似于问题的线性版本的条件下能达到 MMSE 的近似传递算法。我们还提供了方法如主成分分析与贝叶斯去噪等的渐近误差,并将其与贝叶斯最优 MMSE 进行了比较。
Mar, 2024