一种基于经验贝叶斯方法的线性受限非负稀疏信号恢复算法

Oct, 2013

一种基于经验贝叶斯方法的线性受限非负稀疏信号恢复算法

An Empirical-Bayes Approach to Recovering Linearly Constrained Non-Negative Sparse Signals

Jeremy Vila, Philip Schniter

TL;DR本文提出了两种新颖的方法，分别基于 max-sum GAMP 算法和 sum-product GAMP 算法，用于从有噪声线性测量中恢复稀疏信号，且信号为非负且受给定线性等式约束，例如 simplex 信号。两种方法的实验表明，提出的方法具有最先进的性能。

Abstract

We propose two novel approaches to the recovery of an (approximately) sparse signal from noisy linear measurements in the case that the signal is a priori known to be non-negative and obey given linear equality constraints, such as simplex signals. This problem arises in, e.g., hypersp

sparse signal recovery non-negative signals linear equality constraints max-sum gamp algorithm bernoulli non-negative gaussian-mixture signal prior

发现论文，激发创造

非线性观测与生成式先验下的广义 Lasso

研究了在存在 Lipschitz 连续生成模型的情况下，从嘈杂的非线性测量中估计未知的 n 维信号问题。研究表明，非一致恢复保证在 i.i.d. 下成立，并且这种方案可以抵抗对抗性噪声，同时经过推广，可以适用于神经网络生成模型和其他测量模型。

Jun, 2020

一致参数估计的近似消息传递及其在稀疏学习中的应用

提出了一种名为自适应广义近似信息传递（Adaptive GAMP）的新方法，它可以联合学习先验和测量通道的统计信息，同时估计未知向量，可应用于包括压缩感知中的稀疏先验学习、动态系统和神经尖峰过程中的线性非线性级联模型识别等一类学习问题，并证明了算法具有一定的收敛性。

Jul, 2012

非线性观测下的广义 Lasso

研究了非线性观测信号估计问题，当信号属于高维空间中的低维集合时，可以使用广义 Lasso 方法，针对非线性观测信号进行噪声线性观察建模，通过信号重建结构降低误差，允许信号具有不连续、多义和未知的非线性特征，并允许测量矩阵的行具有未知的协方差矩阵。

Feb, 2015

多层广义线性估计

本文应用统计物理的标准方法，提出了多层近似信息传递算法来重构一个信号从多层（可能是非线性的）测量中，并推导出相关的状态演化方程来分析其性能。文中还介绍了一些这种测量模型在压缩感知、结构化矩阵 / 模式下的感知器学习以及自编码器中潜变量估计的应用。

Jan, 2017

含非线性观测的压缩感知及相关非线性优化问题

本文研究了在非线性观测条件下压缩感知信号恢复问题，提出了一种基于迭代硬阈值算法的解决方法，并在类似线性方法的条件下表明该算法能够准确恢复稀疏或结构化信号。同时，本文也展示了在稀疏和子空间并集约束下，如何在一般非线性优化框架下进行相关研究。

May, 2012

基于随机线性混合的广义近似消息传递估计

提出了一种名为广义近似消息传递（GAMP）的算法，它可以对非线性压缩感知和学习问题进行计算上高效的近似实现，同时可以应用于线性变换后的任意分布输入和输出。分析表明，在大型、i.i.d. 高斯转换下，该方法的渐近分量行为由一组简单的状态演化（SE）方程式描述，并可预测几乎任何分量性能指标的渐近值，包括均方误差或检测准确性；该分析对任意输入和输出分布均有效，即使对应的优化问题是非凸的。因此，GAMP 方法提供了一种计算有效的方法，适用于具有精确渐近性能保证的大类非高斯估计问题。

Oct, 2010

最优稀疏恢复的隐式正则化

本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案，旨在从线性测量的过少的系统中重构出一个稀疏信号，考虑到受限等距假设，我们展示了有一定参数下，预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法，可以在费用与读取 poly-logarithmic 因子的数据一样的代价下，实现极小化率。除了最小化控制，我们还展示了当信噪比足够高时，算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案，根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例，我们看到我们的算法经历了一个相变，最终与具有真正的支持知识的最小二乘拟合器匹配。

Sep, 2019

使用生成模型从非线性观测中进行非迭代恢复

本文提出了一种非线性观测下基于单指数模型和连续型生成模型的信号方向估计方法，具有高效、不迭代的优点，并且在测试中表现优于迭代方法。

May, 2022

独立随机线性测量下结构化信号的凸恢复

本文基于凸规划方法，从独立随机线性测量中恢复结构信号，为采样复杂度提供类似于标准高斯测量的界限，并发掘该方法的实际应用，包括一项关于痕范数最小化的相位恢复分析。

May, 2014

随机迭代贪婪算法在稀疏约束下的线性收敛

本文提出了两种基于随机梯度下降方法的可能非凸稀疏约束优化问题的贪心变体算法，证明了在指定容差范围内的期望收敛线性到解决方案。这种普适的框架适用于诸如压缩感知中的稀疏信号恢复、低秩矩阵恢复和协方差矩阵估计等问题，提供具有可证明的收敛保证的方法，通常优于其确定性对应物。我们还分析了仅能近似计算梯度和投影的情况，并证明了这些方法对这些近似是鲁棒的。我们包括许多数字实验，这些实验与理论分析相一致，并在多个不同的设置中展示这些改进。

Jul, 2014