多任务和迁移学习的稀疏编码

Sep, 2012

Sparse coding for multitask and transfer learning

Andreas Maurer, Massimiliano Pontil, Bernardino Romera-Paredes

TL;DR本文研究了在多任务和迁移学习中使用稀疏编码和字典学习，通过对高维或无限维空间中的字典的原子的稀疏线性组合进行假设，以及多任务和迁移学习设置中大量可用的数据，我们提供了该方法的泛化误差上限，并在一个合成和两个真实数据集上进行了数值实验。实验表明相对于单任务学习和以正交和密集表示任务的先前方法以及相关方法来说我们的方法具有优势。

Abstract

We investigate the use of sparse coding and dictionary learning in the context of multitask and transfer learning. The central assumption

sparse coding dictionary learning multitask learning transfer learning generalization error

发现论文，激发创造

任务驱动的字典学习

本文提出了一种通用的配合各种任务的有监督学习词典的方法，并介绍了一个解决相应优化问题的高效算法，实验证明这种方法适用于大规模的监督和半监督分类，以及对能够产生稀疏表示的数据的回归任务。

Sep, 2010

监督式字典学习

本文提出了一种新的稀疏表示模型，该模型采用共享字典和多个类别判定函数来描述不同类别的信号，并提出了学习该模型所有组件的优化方法，进一步提高了手写数字和纹理分类任务的准确性。

Sep, 2008

稀疏且伪像：带有噪声与离群点的字典学习

本篇论文采用概率模型，证明了采用稀疏编码时在字典生成的参考信号附近可以找到局部极小值，同时考虑过完备字典、噪声信号和可能出现的异常值，这一分析是非渐近的，可以帮助理解信号维度、原子数量、稀疏度和观察次数等关键问题如相干性或噪声级别的比例关系。

Jul, 2014

多模态任务驱动的字典学习用于图像分类

本文提出一种基于联合稀疏性约束的多模态任务驱动字典学习算法，以协作多个同质 / 异质信息源，可以学习出多模态词典以及相应的分类器，并在多种应用中具有较高的分类性能和更高的计算效率。

Feb, 2015

Trainlets: 高维字典学习

本文介绍了一种新的基于裁剪小波分解的算法，可以用于更大尺寸的图像处理和信号处理，并结合在线稀疏字典学习算法进行自适应字典训练，得到大的可适应原子 - trainlets。

Jan, 2016

关于预测稀疏编码的样本复杂度

本文研究预测性稀疏编码的推广性能，提出了学习界限并通过稳定性特征刻画了稀疏编码器的性质，进而在超完备和高维情况下提供了精确的估计.

Feb, 2012

贝叶斯稀疏性和类稀疏性在字典学习和编码中的应用

字典学习方法在解决复杂的反问题方面不断受到关注。本文提出了一种工作流程来简化字典匹配过程，通过压缩字典和利用贝叶斯框架处理建模误差，以及使用组稀疏编码方法来识别不相关的子字典，然后通过稀疏编码解决匹配问题。证明了字典压缩误差的补偿和使用组稀疏编码方法对原始字典进行缩小的有效性，通过应用到 LIGO 实验和高光谱遥感中的故障检测问题来进行说明。

Sep, 2023

稀疏编码的字典学习性能极限

研究稀疏线性组合成为单个大型字典矩阵列的观测信号字典学习问题，采用基于 Fano 不等式的信息论方法思路，解析了该问题的最小化风险下界，用于研究一致字典学习方案所需的观测样本复杂性。

Feb, 2014

稀疏字典学习在噪声存在下的局部稳定性和鲁棒性

本文采用概率模型研究了稀疏编码的本地最小值问题，在考虑超完备字典和有噪信号的情况下，证明了稀疏编码接近参考字典生成的信号的局部最小值，同时分析了噪声、信号维度、原子数量、稀疏度和观察数量等关键量如何随之缩放。

Oct, 2012

矩阵分解与稀疏编码的在线学习

本文主要介绍了一种新的基于随机逼近的在线优化算法，用于解决以学习基础集合和将其适应特定数据为主的大规模矩阵分解问题，其在各种矩阵分解方面有良好的表现，并在自然图像和基因数据上进行的实验中具有速度和优化方面的先进性能。

Aug, 2009