贝叶斯稀疏性和类稀疏性在字典学习和编码中的应用

Sep, 2023

贝叶斯稀疏性和类稀疏性在字典学习和编码中的应用

Bayesian sparsity and class sparsity priors for dictionary learning and coding

Alberto Bocchinfuso, Daniela Calvetti, Erkki Somersalo

TL;DR字典学习方法在解决复杂的反问题方面不断受到关注。本文提出了一种工作流程来简化字典匹配过程，通过压缩字典和利用贝叶斯框架处理建模误差，以及使用组稀疏编码方法来识别不相关的子字典，然后通过稀疏编码解决匹配问题。证明了字典压缩误差的补偿和使用组稀疏编码方法对原始字典进行缩小的有效性，通过应用到 LIGO 实验和高光谱遥感中的故障检测问题来进行说明。

Abstract

dictionary learning methods continue to gain popularity for the solution of challenging inverse problems. In the dictionary learning approach, the computational forward model is replaced by a large dictionary of

dictionary learning sparse coding dictionary compression bayesian framework group sparsity coding

发现论文，激发创造

稀疏且伪像：带有噪声与离群点的字典学习

本篇论文采用概率模型，证明了采用稀疏编码时在字典生成的参考信号附近可以找到局部极小值，同时考虑过完备字典、噪声信号和可能出现的异常值，这一分析是非渐近的，可以帮助理解信号维度、原子数量、稀疏度和观察次数等关键问题如相干性或噪声级别的比例关系。

Jul, 2014

字典学习何时能从子采样中唯一恢复稀疏数据？

在本文中，我们提供了确定稀疏编码和字典唯一性的条件，并利用组合矩阵理论推导出保证其唯一性的采样大小的界限，从而使得任何对数据进行稀疏约束学习的算法能够成功地复原原始的稀疏编码和字典，并探讨了其在神经科学和数据分析方面的潜在应用。

Jun, 2011

稀疏字典学习在噪声存在下的局部稳定性和鲁棒性

本文采用概率模型研究了稀疏编码的本地最小值问题，在考虑超完备字典和有噪信号的情况下，证明了稀疏编码接近参考字典生成的信号的局部最小值，同时分析了噪声、信号维度、原子数量、稀疏度和观察数量等关键量如何随之缩放。

Oct, 2012

任务驱动的字典学习

本文提出了一种通用的配合各种任务的有监督学习词典的方法，并介绍了一个解决相应优化问题的高效算法，实验证明这种方法适用于大规模的监督和半监督分类，以及对能够产生稀疏表示的数据的回归任务。

Sep, 2010

一种聚类方法学习稀疏过完备字典

研究的主要问题是如何在稀疏编码的上下文中学习超完备词典，其主要结果是提出了一种近似恢复未知词典的策略，该算法是一种聚类风格的过程，其中每个聚类用于估计一个词典元素，并提供了一种简单的场景，其中 $\ell_1$ - 正则化回归可用于第二阶段。

Sep, 2013

稀疏建模在图像和视觉处理中的应用

本文介绍了关于稀疏模型及其应用的多学科研究，主要涉及模型选择、稀疏编码、图像识别和图像处理等领域。本文针对数据的学习和适应性字典，提供了一种自包含的稀疏建模方法，已在各种领域中获得成功应用。

Nov, 2014

多任务和迁移学习的稀疏编码

本文研究了在多任务和迁移学习中使用稀疏编码和字典学习，通过对高维或无限维空间中的字典的原子的稀疏线性组合进行假设，以及多任务和迁移学习设置中大量可用的数据，我们提供了该方法的泛化误差上限，并在一个合成和两个真实数据集上进行了数值实验。实验表明相对于单任务学习和以正交和密集表示任务的先前方法以及相关方法来说我们的方法具有优势。

Sep, 2012

稀疏编码的字典学习性能极限

研究稀疏线性组合成为单个大型字典矩阵列的观测信号字典学习问题，采用基于 Fano 不等式的信息论方法思路，解析了该问题的最小化风险下界，用于研究一致字典学习方案所需的观测样本复杂性。

Feb, 2014

监督式字典学习

本文提出了一种新的稀疏表示模型，该模型采用共享字典和多个类别判定函数来描述不同类别的信号，并提出了学习该模型所有组件的优化方法，进一步提高了手写数字和纹理分类任务的准确性。

Sep, 2008

稀疏约束投影的高效字典学习

本文介绍了一种名为 EZDL 的字典学习算法，利用一种新的最优化技术来学习适用于稀疏编码的字典，并在图像处理中获得了成功应用，同时该算法所学的字典能够以整体效果优异的方式表达图像。

Apr, 2016