对于 1 位稀疏高斯数据压缩的典型情况，我们证明梯度下降收敛到一个完全忽略输入稀疏结构的解，且相对于高斯源完全没有稀疏性能。对于一般数据分布，我们提供了关于梯度下降最小化器形状的相变现象的证据，关键是数据的稀疏度：在关键稀疏性水平以下，最小化器是均匀随机选择的旋转（就像在非稀疏数据的压缩中一样）；在关键稀疏度以上，最小化器是恒等变换（经过排列）。最后，通过利用与近似传递算法的联系，我们展示了如何改进稀疏数据的高斯性能：对浅层架构添加去噪函数已经可以显式地减少损失，而适当的多层解码器则可以进一步改善。我们在图像数据集（如 CIFAR-10 和 MNIST）上验证了我们的发现。

Feb, 2024

本文研究了稀疏性转换模型的学习，并提出了交替算法以实现稳健的方阵。研究结果表明，与合成 K-SVD 相比，转换学习在图像降噪中具有良好的性能和显着的加速度。

Jan, 2015

该论文提出了一种基于自编码器的结构稀疏方法，可以更好地匹配灵长类数据，使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。

Feb, 2023

本文提出了一个用于结构化稀疏编码和建模的综合框架，扩展了使用可学习的快速回归器来逼近精确稀疏编码的最近思想，并演示了一个有效的前馈体系结构来近似精确结构化稀疏编码与标准优化方法相比，此体系结构的复杂性仅为一小部分，并且可以应用于大规模实时应用，因此该框架适用于大规模应用的实时情况。

Jun, 2012

稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

Jun, 2024

本研究提出一种基于简单元素的线性模型，针对推荐系统的稀疏数据和隐式反馈数据，并展示其训练目标具有闭式解，该简单模型在所有公开数据集上都取得了比深度非线性模型更好的排名准确性。

May, 2019

本文通过研究基于自编码器的坐标下降方法，证明了只需非常温和的分布性假设，依然可以基于自动学习的 ReLU 等门函数自动挖掘稀疏编码的支撑集，而且在原支撑集附近，正则平方损失的期望梯度的范数绝对值随着稀疏编码维数的增加而渐进地降低。

Aug, 2017

利用高级别表示数据来帮助无监督学习任务的稀疏编码算法，通过 L1 正则化凸优化算法从无标签类别的高级别表示数据中推导出的优化解，以此描述使用稀疏编码的深度学习算法。

Apr, 2014

本文介绍了一种新的方法来学习线性编码器，以适应数据，同时仍然能够与广泛使用的 l1 解码器表现良好。该方法通过将凸 l1 解码器展开为 T 个项目次梯度步骤来解决无法在标准梯度训练中进行梯度传播的问题。实验结果表明，我们的方法能够发现并利用稀疏向量之外的额外结构，在进行少量测量的情况下，比以前的最先进方法显着提高了重建效果，并且在极端多标签分类任务中，能够匹配或超越 SLEEC 的精度得分。

Jun, 2018

该研究构建了自定义正则化函数用于深度神经网络的监督训练，利用自动编码器得到正则化器，实现分段模型标签的训练，并在语义分割中展示了正则化策略对提高准确率的实验结果。

Apr, 2018