交替极小化算法在字典学习中的收敛性
利用替代最小化算法,本篇论文提出了一种字典学习 / 稀疏编码问题的理论保证算法。与以往的理论分析不同,该算法在真实字典的运算符范数条件上转换为矩阵无穷范数条件,并具有信息理论上的优化稀疏性和适应不同过完备度的特点,同时也确立了算法的样本复杂性上界。
Nov, 2017
本文探讨了关于稀疏编码的问题,其中每个样本由一组字典原子的稀疏线性组合组成,任务是同时学习字典元素和混合系数。我们考虑交替最小化法来处理此问题,并建立了该方法的局部线性收敛性质;同时还证明了全局最优解的吸引盆的尺寸为 $\order {1/s^2}$,其中 $s$ 为每个样本的稀疏度,字典满足有限鲁棒性原则 (RIP)。与最近的近似字典估计结果相结合,可以为完全恢复字典元素和系数提供可证明的保证,当字典元素不相干时。
Oct, 2013
本文对 K-SVD 算法(一种在实际应用中广受欢迎的字典学习算法)的表现进行了理论探究,研究了一个特定问题:在一组 N 个训练信号 yn=Φxn 中,一个字典 Φ 在满足 K-SVD 最小化准则本质下能否被恢复。通过对问题的理论分析,得出了两种可识别性结果。
Jan, 2013
本文研究基于稀疏性的模型和技术在信号处理和图像应用中的应用,提出了针对特定结构的稀疏化运算符学习问题的交替最小化算法,并对其收敛性进行了分析,证明了在某些假设下,该算法收敛于数据的基础稀疏化模型。同时,数值模拟表明该算法对初始值具有较强的鲁棒性。
May, 2018
本文研究字典学习中稀疏编码问题,在合理的数据统计假设下,我们基于随机初始化的次梯度下降算法,可以证明地恢复出非光滑、非凸的 L1 范数最小化问题的正交字典,相对于之前需要昂贵计算或精细初始化的证明方法有不同的优势。我们的分析开发了多种工具来表征非光滑函数的面貌,对证明带有非光滑激活函数(例如 ReLU)的深度网络的训练以及其他众多应用有独立的价值。初步实验印证了我们的分析,并表明我们的算法在恢复正交字典方面表现良好。
Oct, 2018
通过使用外积求和估计未知变量,然后使用块坐标下降方法来解决问题,本文探讨了连续稀疏惩罚词典学习的高效方法,并提出了与块坐标下降和外积求和方法有关的新算法来进行自适应图像重构。
Nov, 2015
本文研究了稀疏性转换模型的学习,并提出了交替算法以实现稳健的方阵。研究结果表明,与合成 K-SVD 相比,转换学习在图像降噪中具有良好的性能和显着的加速度。
Jan, 2015
本文提出了一种基于正交组上的∣𝐿4∣范数最大化方法,通过匹配、拉伸和投影,实现了完整字典的学习,并得到了理论上的优化保证及高效的实验验证,该方法在图像处理中具有应用前景。
Jun, 2019
通过开发 NOODL (一种可行的神经可塑性交替优化在线字典学习算法)来解决字典学习中字典和系数参数优化是不凸问题的挑战,并在必要时对稀疏系数进行支持恢复,进而提高了在稀疏信号处理和神经网络等领域的实际应用价值。
Feb, 2019
该论文探讨了字典学习问题的局部解决方案,基于随机稀疏模型,通过低秩矩阵补全问题的工具,克服了一些技术上的难点,并建立了当样本数满足某些条件时,字典和系数的组合可以成为 L1 范数的局部最优解这一结果。
Jan, 2011