本文探讨了利用正则化重建误差最小化的方法来捕捉数据密度和得分匹配的思想，从而实现对自编码器对于数据生成分布的学习和采样。

Nov, 2012

该研究提出了一种新的方法，能够在处理离散数据、任意形式的噪声和重构损失、同时去除偏差等方面更好地连接正则化自编码器的训练过程和对潜在生成分布的隐式估计。

May, 2013

使用隐藏层作为选择机制以确保表示的稀疏性导致隐藏单元偏差取负值，提出了一个新的解耦激活函数来解决这个问题，可以学习高固有维度数据的表示。

Feb, 2014

利用去噪自编码网络作为先验方法，以解决图像恢复问题，并使用梯度下降最大化似然函数。

Mar, 2017

该论文提出了一种基于自编码器的结构稀疏方法，可以更好地匹配灵长类数据，使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。

Feb, 2023

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

Jun, 2024

本文介绍了一个用于重叠的全局特征的无监督学习结构化预测的框架，提出了一个基于特征丰富的条件随机场对可观察数据进行条件预测的潜在表示方法，并使用具有封闭形式的最大似然估计的模型来（重新）生成输入的重建，使得无需进行不切实际的独立性假设或限制可用特征类型的情况下能够有效地进行学习，并示范了与传统自动编码器、后验正则化和多视图学习方面的有见地的联系。接着将模型实例化应用于两个经典的自然语言处理任务：词性归纳和比对文本词汇对应，并证明训练我们的模型可以比可比的特征丰富基线方法更加高效。

Nov, 2014

本文通过研究基于自编码器的坐标下降方法，证明了只需非常温和的分布性假设，依然可以基于自动学习的 ReLU 等门函数自动挖掘稀疏编码的支撑集，而且在原支撑集附近，正则平方损失的期望梯度的范数绝对值随着稀疏编码维数的增加而渐进地降低。

Aug, 2017

本文提出了自动编码器机制的理论框架，研究了编码器的两个基本属性：双射映射和数据解缠，并给出了满足这两个属性中任意一个或同时具备的编码器的构造方法。基于该理论框架，我们解释了一些自动编码器的实验结果，证明自动编码器在降维和分类方面相较于 PCA 和决策树的优势，同时该理论框架还解释了卷积神经网络和随机加权神经网络。

Aug, 2022