自适应学习的稀疏编码算法
本文主要介绍了一种新的基于随机逼近的在线优化算法,用于解决以学习基础集合和将其适应特定数据为主的大规模矩阵分解问题,其在各种矩阵分解方面有良好的表现,并在自然图像和基因数据上进行的实验中具有速度和优化方面的先进性能。
Aug, 2009
本文提出了一个用于结构化稀疏编码和建模的综合框架,扩展了使用可学习的快速回归器来逼近精确稀疏编码的最近思想,并演示了一个有效的前馈体系结构来近似精确结构化稀疏编码与标准优化方法相比,此体系结构的复杂性仅为一小部分,并且可以应用于大规模实时应用,因此该框架适用于大规模应用的实时情况。
Jun, 2012
本文研究了一种名为SISC的移不变稀疏编码学习算法,通过迭代求解两个大型凸优化问题,其能够在给定无监督数据的情况下,通过将每个输出表示为一组基函数的稀疏线性组合,学习输入的简洁高级表示。研究发现,使用SISC算法学习到的高级表示对语音和音乐分类任务具有良好的分类性能。
Jun, 2012
本文采用概率模型研究了稀疏编码的本地最小值问题,在考虑超完备字典和有噪信号的情况下,证明了稀疏编码接近参考字典生成的信号的局部最小值,同时分析了噪声、信号维度、原子数量、稀疏度和观察数量等关键量如何随之缩放。
Oct, 2012
本篇论文采用概率模型,证明了采用稀疏编码时在字典生成的参考信号附近可以找到局部极小值,同时考虑过完备字典、噪声信号和可能出现的异常值,这一分析是非渐近的,可以帮助理解信号维度、原子数量、稀疏度和观察次数等关键问题如相干性或噪声级别的比例关系。
Jul, 2014
本文提出了一套通用的框架用于理解交替最小化原理并分析已有的稀疏编码算法,同时设计了具备可证明保障的新算法并在简单的神经结构上实现;给出了首个高效的稀疏编码算法,可以接近或超过用于不相关字典稀疏恢复的信息理论极限,同时改善了现有方法的样本复杂度。
Mar, 2015
本研究证明了自适应学习(Self-paced learning)中的求解策略符合最大化最小化算法的实现方法,并发现其中包含的损失函数类似于统计学和机器学习中已知的非凸正则化惩罚(NSPR),如SCAD、LOG和EXP。通过这些发现,揭示了在弱标记大规模数据处理任务中,本文设计的组偏序损失先验对SPL的有效性具有重要贡献且达到了业界最优效果。
Nov, 2015
本文研究了在存在噪声的情况下,字典学习目标函数最小化可能无法恢复实际字典,在此基础上,提出了一种新的掩模目标函数,并证明了最小化此新函数可以恢复实际字典。实验证明,这种新的目标函数比标准的重构目标函数具有更好的经验性能。
Feb, 2023