Jun, 2014

通过微分包含实现稀疏恢复

PDF
TL;DR本文介绍了一种基于 nonlinear differential inclusions 的 inverse scale space (ISS) 方法，命名为 Bregman ISS 和 Linearized Bregman ISS，可用于从噪声线性测量中恢复稀疏信号，并给出了相应的正当性和理论保证。
sparse signalsnonlinear differential inclusionsbregman isslinearized bregman issoracle estimator
发现论文，激发创造
  • 最优稀疏恢复的隐式正则化

    本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案，旨在从线性测量的过少的系统中重构出一个稀疏信号，考虑到受限等距假设，我们展示了有一定参数下，预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法，可以在费用与读取 poly-logarithmic 因子的数据一样的代价下，实现极小化率。除了最小化控制，我们还展示了当信噪比足够高时，算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案，根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例，我们看到我们的算法经历了一个相变，最终与具有真正的支持知识的最小二乘拟合器匹配。

    Sep, 2019

  • 一种统一的动态方法用于稀疏模型选择

    本文提出一种简单的迭代正则化路径方法，通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态，在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上，其性能与 glment 相当，进一步减小了偏差。

    Oct, 2018

  • 准线性压缩感知

    研究压缩感知的一般框架，提出了一种非线性测量的自然推广方法，并证明了通过这些测量可以有效地计算和恢复稀疏信号。提出了三种算法，其中包括一种称为广义 OLS 的贪心算法，以及两种硬和软阈值迭代算法的自然推广方法，并证明了这些算法对于基于 Lipschitz 扰动的 RIP 矩阵的非线性测量具有强的恢复保证。

    Nov, 2013

  • 具有结构稀疏性的增强：差分包容方法

    本文提出了一种基于约束梯度下降和结构稀疏性控制的新型 Boosting-type 算法 Split LBI，其在模型选择方面比流行的广义 Lasso 更具优势，并可以实现路径一致性和最小二乘误差下降到最小的最优化速率，为图像去噪、运动队部分排序和大学排名等多个领域的应用提供了实用和好处。

    Apr, 2017

  • 透过反比尺度空间探索深度网络的结构稀疏性

    本文提出了一种基于反射尺度微分包含的新方法，该方法通过耦合一对参数在动力学过程中生成从简单到复杂的模型系列，同时探索过度参数化的深度模型和其结构稀疏性。实验证据表明，我们的方法在探索几个广泛使用的支撑点上的稀疏结构方面表现出与竞争优化器可比甚至更好的性能。值得注意的是，我们的方法能够在早期阶段揭示 “获胜的票据”，即具有与完全训练的超参数化模型相当的测试精度的有效稀疏网络结构，这些模型可以进一步迁移到类似的替代任务中。此外，我们的方法能够高效地使用自适应过滤器配置来有效地增加网络，展示出更少的计算成本。

    May, 2019

  • 利用 Lasso 实现签名一致性

    本文研究了在 Lasso 回归中使用 signature transforms 的一致性问题，指出对于具有较弱跨维关联的过程和时间序列，其由 Itô 积分定义的 Signature 变换更一致，而对于均值回归过程和时间序列，其由 Stratonovich 积分定义的 Signature 变换更一致，突显了在统计推断和机器学习中选择合适的签名和随机模型的重要性。

    May, 2023

  • 近似线性时间的半随机稀疏恢复

    本文探究了迭代算法在生成模型变化下的韧性，以及一个与之相关的关于稀疏恢复的几何迭代方法，并在自然统计反问题中展示了我们方法的有效性。

    Mar, 2022

  • 非线性观测与生成式先验下的广义 Lasso

    研究了在存在 Lipschitz 连续生成模型的情况下，从嘈杂的非线性测量中估计未知的 n 维信号问题。研究表明，非一致恢复保证在 i.i.d. 下成立，并且这种方案可以抵抗对抗性噪声，同时经过推广，可以适用于神经网络生成模型和其他测量模型。

    Jun, 2020

  • 广义高维线性反问题的几何推断

    该论文提出了一个几何统计分析框架，适用于泛化的不适定线性反问题模型，包括噪声压缩感知、符号向量恢复、迹回归、正交矩阵估计和噪声矩阵完成等特殊情况，提出了可行的计算凸规划方法，用于统计推断，包括估计、置信区间和假设检验。该论文建立了一个理论框架，以表征局部估计收敛速度，并提供统计推断保证，其结果基于局部锥几何和对偶性，并通过高斯宽度和 Sudakov 最小化估计量表征局部切锥的几何。

    Apr, 2014

  • 通过迭代加权最小二乘法实现图像恢复的稀疏和低秩先验学习

    提出了一种基于学习的稀疏和低秩约束的图像恢复新优化算法，并将其和现有算法进行了比较和评估。

    Apr, 2023