稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

Jun, 2024

该研究提出了一种新的方法，能够在处理离散数据、任意形式的噪声和重构损失、同时去除偏差等方面更好地连接正则化自编码器的训练过程和对潜在生成分布的隐式估计。

May, 2013

提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

Nov, 2014

本研究提出了一种使用去噪自编码器计算置信度得分的新方法，并展示了这种置信度得分可以通过确定其局部极大值来正确识别接近训练分布的输入空间的区域，从而解决神经网络模型的过度概括问题。

Sep, 2017

本文介绍了一个自编码器框架，结合隐式正则化和内部线性层，自动估计数据集的底层维度，生成正交流形坐标系，并提供周围空间和流形空间之间的映射函数，为拓展样本作出一定的贡献，展示了该框架在各种数据集中对流形维度的能够自动估计，分析了该架构的梯度下降动态，以及扩展到状态空间建模和预测的应用，并证明了该框架对超参数选择的鲁棒性。

May, 2023

自动编码器是无监督学习内部表示的有用框架，本研究将现有的去噪自动编码器扩展到在非线性函数和隐藏单元激活之前注入噪音，提供一种统一的策略来通过设计注入噪声的性质来开发新的内部表示，并表明通过罕见的、去相关、和信息分散的噪声，在深度网络中改善性能。与其他单层技术竞争 MNIST 和 CIFAR-10。

Jun, 2014

使用生成网络和自编码器对带有噪声的图像进行去噪，当给定一个 $k$ 维码时，自编码器能将噪声能量减小到 $O (k/n)$，并且使用一个梯度算法的生成模型能将噪声能量降低到 $O (k/n)$。

May, 2018

使用两层自编码器参数化的流式生成模型，通过对目标分布从有限数量 n 的样本进行训练，提供了问题的尖锐端到端分析，包括对学习速度场的紧密闭合形式表征以及对相应生成流的尖锐描述，最终证明该速度场的收敛速度是贝叶斯最优的。

Oct, 2023

本研究提出了一种基于深度去噪自编码器和横向连接的无监督辅助学习模型，通过反向传播同时最小化监督和无监督成本函数的总和，避免了逐层预训练，显著提高了排列不变 MNIST 分类任务的效果。

Apr, 2015

对于 1 位稀疏高斯数据压缩的典型情况，我们证明梯度下降收敛到一个完全忽略输入稀疏结构的解，且相对于高斯源完全没有稀疏性能。对于一般数据分布，我们提供了关于梯度下降最小化器形状的相变现象的证据，关键是数据的稀疏度：在关键稀疏性水平以下，最小化器是均匀随机选择的旋转（就像在非稀疏数据的压缩中一样）；在关键稀疏度以上，最小化器是恒等变换（经过排列）。最后，通过利用与近似传递算法的联系，我们展示了如何改进稀疏数据的高斯性能：对浅层架构添加去噪函数已经可以显式地减少损失，而适当的多层解码器则可以进一步改善。我们在图像数据集（如 CIFAR-10 和 MNIST）上验证了我们的发现。

Feb, 2024