Oct, 2013

通过交替最小化学习稀疏使用的过完备字典

PDF
TL;DR本文探讨了关于稀疏编码的问题，其中每个样本由一组字典原子的稀疏线性组合组成，任务是同时学习字典元素和混合系数。我们考虑交替最小化法来处理此问题，并建立了该方法的局部线性收敛性质；同时还证明了全局最优解的吸引盆的尺寸为 $\order {1/s^2}$，其中 $s$ 为每个样本的稀疏度，字典满足有限鲁棒性原则 (RIP)。与最近的近似字典估计结果相结合，可以为完全恢复字典元素和系数提供可证明的保证，当字典元素不相干时。
发现论文，激发创造
  • 交替极小化字典学习：局部收敛保证

    利用替代最小化算法，本篇论文提出了一种字典学习 / 稀疏编码问题的理论保证算法。与以往的理论分析不同，该算法在真实字典的运算符范数条件上转换为矩阵无穷范数条件，并具有信息理论上的优化稀疏性和适应不同过完备度的特点，同时也确立了算法的样本复杂性上界。

    Nov, 2017

  • 关于字典学习中 L^1 收缩算法本地正确性的研究

    该论文探讨了字典学习问题的局部解决方案，基于随机稀疏模型，通过低秩矩阵补全问题的工具，克服了一些技术上的难点，并建立了当样本数满足某些条件时，字典和系数的组合可以成为 L1 范数的局部最优解这一结果。

    Jan, 2011

  • 快速结构化字典学习分析

    本文研究基于稀疏性的模型和技术在信号处理和图像应用中的应用，提出了针对特定结构的稀疏化运算符学习问题的交替最小化算法，并对其收敛性进行了分析，证明了在某些假设下，该算法收敛于数据的基础稀疏化模型。同时，数值模拟表明该算法对初始值具有较强的鲁棒性。

    May, 2018

  • 稀疏字典学习在噪声存在下的局部稳定性和鲁棒性

    本文采用概率模型研究了稀疏编码的本地最小值问题，在考虑超完备字典和有噪信号的情况下，证明了稀疏编码接近参考字典生成的信号的局部最小值，同时分析了噪声、信号维度、原子数量、稀疏度和观察数量等关键量如何随之缩放。

    Oct, 2012

  • 稀疏且伪像：带有噪声与离群点的字典学习

    本篇论文采用概率模型，证明了采用稀疏编码时在字典生成的参考信号附近可以找到局部极小值，同时考虑过完备字典、噪声信号和可能出现的异常值，这一分析是非渐近的，可以帮助理解信号维度、原子数量、稀疏度和观察次数等关键问题如相干性或噪声级别的比例关系。

    Jul, 2014

  • 一种聚类方法学习稀疏过完备字典

    研究的主要问题是如何在稀疏编码的上下文中学习超完备词典，其主要结果是提出了一种近似恢复未知词典的策略，该算法是一种聚类风格的过程，其中每个聚类用于估计一个词典元素，并提供了一种简单的场景，其中 $\ell_1$ - 正则化回归可用于第二阶段。

    Sep, 2013

  • 交替极小化算法在字典学习中的收敛性

    本文研究了字典学习中两种流行的交替最小化算法的收敛性，在给定合适初始化条件的情况下，这两种算法都可以收敛到生成字典，适用于稀疏系数的数据模型，更好地拟合真实数据

    Apr, 2023

  • 字典识别 - 利用稀疏矩阵分解和 l1 - 最小化技术

    本篇论文讨论了使用 $\ell_1$- 最小化学习为给定信号类提供稀疏表示的字典的问题，研究了何时可以通过该算法恢复出一个字典系数对 $(\dico,\X)$，证明了当字典是基向量和使用随机伯努利高斯稀疏模型时，可以通过很少的样本在高概率下获得本地可识别性。

    Apr, 2009

  • 次梯度下降学习正交字典

    本文研究字典学习中稀疏编码问题，在合理的数据统计假设下，我们基于随机初始化的次梯度下降算法，可以证明地恢复出非光滑、非凸的 L1 范数最小化问题的正交字典，相对于之前需要昂贵计算或精细初始化的证明方法有不同的优势。我们的分析开发了多种工具来表征非光滑函数的面貌，对证明带有非光滑激活函数（例如 ReLU）的深度网络的训练以及其他众多应用有独立的价值。初步实验印证了我们的分析，并表明我们的算法在恢复正交字典方面表现良好。

    Oct, 2018

  • 稀疏编码的字典学习性能极限

    研究稀疏线性组合成为单个大型字典矩阵列的观测信号字典学习问题，采用基于 Fano 不等式的信息论方法思路，解析了该问题的最小化风险下界，用于研究一致字典学习方案所需的观测样本复杂性。

    Feb, 2014