Oct, 2018

次梯度下降学习正交字典

PDF
TL;DR本文研究字典学习中稀疏编码问题，在合理的数据统计假设下，我们基于随机初始化的次梯度下降算法，可以证明地恢复出非光滑、非凸的 L1 范数最小化问题的正交字典，相对于之前需要昂贵计算或精细初始化的证明方法有不同的优势。我们的分析开发了多种工具来表征非光滑函数的面貌，对证明带有非光滑激活函数（例如 ReLU）的深度网络的训练以及其他众多应用有独立的价值。初步实验印证了我们的分析，并表明我们的算法在恢复正交字典方面表现良好。
发现论文，激发创造
  • 交替极小化字典学习：局部收敛保证

    利用替代最小化算法，本篇论文提出了一种字典学习 / 稀疏编码问题的理论保证算法。与以往的理论分析不同，该算法在真实字典的运算符范数条件上转换为矩阵无穷范数条件，并具有信息理论上的优化稀疏性和适应不同过完备度的特点，同时也确立了算法的样本复杂性上界。

    Nov, 2017

  • 通过交替最小化学习稀疏使用的过完备字典

    本文探讨了关于稀疏编码的问题，其中每个样本由一组字典原子的稀疏线性组合组成，任务是同时学习字典元素和混合系数。我们考虑交替最小化法来处理此问题，并建立了该方法的局部线性收敛性质；同时还证明了全局最优解的吸引盆的尺寸为 $\order {1/s^2}$，其中 $s$ 为每个样本的稀疏度，字典满足有限鲁棒性原则 (RIP)。与最近的近似字典估计结果相结合，可以为完全恢复字典元素和系数提供可证明的保证，当字典元素不相干时。

    Oct, 2013

  • NOODL: 可证明的在线字典学习和稀疏编码

    通过开发 NOODL (一种可行的神经可塑性交替优化在线字典学习算法）来解决字典学习中字典和系数参数优化是不凸问题的挑战，并在必要时对稀疏系数进行支持恢复，进而提高了在稀疏信号处理和神经网络等领域的实际应用价值。

    Feb, 2019

  • 关于字典学习中 L^1 收缩算法本地正确性的研究

    该论文探讨了字典学习问题的局部解决方案，基于随机稀疏模型，通过低秩矩阵补全问题的工具，克服了一些技术上的难点，并建立了当样本数满足某些条件时，字典和系数的组合可以成为 L1 范数的局部最优解这一结果。

    Jan, 2011

  • 稀疏且伪像：带有噪声与离群点的字典学习

    本篇论文采用概率模型，证明了采用稀疏编码时在字典生成的参考信号附近可以找到局部极小值，同时考虑过完备字典、噪声信号和可能出现的异常值，这一分析是非渐近的，可以帮助理解信号维度、原子数量、稀疏度和观察次数等关键问题如相干性或噪声级别的比例关系。

    Jul, 2014

  • 正交群上 $l^4$- 范最大化的完全字典学习

    本文提出了一种基于正交组上的∣𝐿4∣范数最大化方法，通过匹配、拉伸和投影，实现了完整字典的学习，并得到了理论上的优化保证及高效的实验验证，该方法在图像处理中具有应用前景。

    Jun, 2019

  • 交替极小化算法在字典学习中的收敛性

    本文研究了字典学习中两种流行的交替最小化算法的收敛性，在给定合适初始化条件的情况下，这两种算法都可以收敛到生成字典，适用于稀疏系数的数据模型，更好地拟合真实数据

    Apr, 2023

  • 字典学习何时能从子采样中唯一恢复稀疏数据？

    在本文中，我们提供了确定稀疏编码和字典唯一性的条件，并利用组合矩阵理论推导出保证其唯一性的采样大小的界限，从而使得任何对数据进行稀疏约束学习的算法能够成功地复原原始的稀疏编码和字典，并探讨了其在神经科学和数据分析方面的潜在应用。

    Jun, 2011

  • 稀疏字典学习在噪声存在下的局部稳定性和鲁棒性

    本文采用概率模型研究了稀疏编码的本地最小值问题，在考虑超完备字典和有噪信号的情况下，证明了稀疏编码接近参考字典生成的信号的局部最小值，同时分析了噪声、信号维度、原子数量、稀疏度和观察数量等关键量如何随之缩放。

    Oct, 2012

  • $\ell_0$ 稀疏化变换学习：高效最优更新和收敛保证

    本文研究了稀疏性转换模型的学习，并提出了交替算法以实现稳健的方阵。研究结果表明，与合成 K-SVD 相比，转换学习在图像降噪中具有良好的性能和显着的加速度。

    Jan, 2015