稀疏编码与自编码器

Aug, 2017

Sparse Coding and Autoencoders

Akshay Rangamani, Anirbit Mukherjee, Amitabh Basu, Tejaswini Ganapathy, Ashish Arora...

TL;DR本文通过研究基于自编码器的坐标下降方法，证明了只需非常温和的分布性假设，依然可以基于自动学习的 ReLU 等门函数自动挖掘稀疏编码的支撑集，而且在原支撑集附近，正则平方损失的期望梯度的范数绝对值随着稀疏编码维数的增加而渐进地降低。

Abstract

In "dictionary learning" one tries to recover incoherent matrices $A^* \in \mathbb{R}^{n \times h}$ (typically overcomplete and whose columns are assumed to be normalized) and sparse vectors $x^* \in \mathbb{R}^h$ with a small support of size $h^p$ for some $0

dictionary learning autoencoder sparse coding gradient descent relu activation

发现论文，激发创造

通过自归一化 ReLU 实现的关键自动编码器

稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

Jun, 2024

结构化数据的自动编码器压缩：非线性和深度的可证明优势

对于 1 位稀疏高斯数据压缩的典型情况，我们证明梯度下降收敛到一个完全忽略输入稀疏结构的解，且相对于高斯源完全没有稀疏性能。对于一般数据分布，我们提供了关于梯度下降最小化器形状的相变现象的证据，关键是数据的稀疏度：在关键稀疏性水平以下，最小化器是均匀随机选择的旋转（就像在非稀疏数据的压缩中一样）；在关键稀疏度以上，最小化器是恒等变换（经过排列）。最后，通过利用与近似传递算法的联系，我们展示了如何改进稀疏数据的高斯性能：对浅层架构添加去噪函数已经可以显式地减少损失，而适当的多层解码器则可以进一步改善。我们在图像数据集（如 CIFAR-10 和 MNIST）上验证了我们的发现。

Feb, 2024

V1 的稀疏几何自编码器模型

该论文提出了一种基于自编码器的结构稀疏方法，可以更好地匹配灵长类数据，使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。

Feb, 2023

正则化自编码器从数据生成分布中学习

本文探讨了利用正则化重建误差最小化的方法来捕捉数据密度和得分匹配的思想，从而实现对自编码器对于数据生成分布的学习和采样。

Nov, 2012

使用自编码器解决反问题

通过生成函数和迭代算法解决压缩感知问题，研究了在噪声存在的情况下恢复具有复杂结构信号的表现，并使用自动编码器定义和强制源结构.

Jan, 2019

基于平方和方法的字典学习和张量分解

本文提出了一种新的方法用于词典学习即稀疏编码的问题，其中，算法能够在噪声张量分解方面解决任意泊松（Poisson）噪声情况，并且本算法同样适用于具有更高的稀疏度，并且基于一个使用和分析半正定规划的 Sum of Squares 层次结构的新方法。