通过引入 Gated Sparse Autoencoder，文章解决了稀疏自编码器中的估计偏差问题，实现了对语言模型激活的解释性特征的无监督发现。

Apr, 2024

使用隐藏层作为选择机制以确保表示的稀疏性导致隐藏单元偏差取负值，提出了一个新的解耦激活函数来解决这个问题，可以学习高固有维度数据的表示。

Feb, 2014

本研究旨在探讨通过鼓励稀疏性来学习表示的有效性，提出了一种名为 k-sparse 自编码器的方法，该方法取得了比其他方法更好的 MNIST 和 NORB 分类结果。

Dec, 2013

本文提出了一种称为 Structuring AutoEncoders 的神经网络，其可以使用弱监督形成结构化的低维空间，从而更有效地表示并分类数据。在基准图像数据集 MNIST、Fashion-MNIST、DeepFashion2 以及 3D 人体形状数据集上进行的实验表明，结构潜空间可以为进一步的分类任务和分类数据的有效选择的操作提供更高效的表征。

Aug, 2019

证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

Jan, 2019

本文提出了 Wasserstein 自编码器（WAE）算法，通过最小化 Wasserstein 距离来构建数据分布的生成模型，并与其他技术进行比较，表明其是对抗自编码器（AAE）的推广，可用于生成更高质量的样本。

Nov, 2017

本文探讨了利用正则化重建误差最小化的方法来捕捉数据密度和得分匹配的思想，从而实现对自编码器对于数据生成分布的学习和采样。

Nov, 2012

稀疏自编码器通过重构来自稀疏瓶颈层的激活，提供了一种从语言模型中提取可解释特征的有前途的无监督方法。我们提出使用 k - 稀疏自编码器来直接控制稀疏性，简化调整并改进重构 - 稀疏性的界限，并引入一些评估特征质量的新度量标准，这些度量标准在自编码器的规模大小上通常会有所改善。

Jun, 2024

我们提出了一种基于数据无关的潜在空间正则化约束，用于一对一重新嵌入初始数据流形到其潜在表示。通过神经网络的正则化，我们实现了拓扑保持，从 FashionMNIST 数据集到 MRI 脑部扫描等真实世界的编码问题，这种正则化技术可以提供可靠的复杂高维数据的低维表示。

Sep, 2023

稀疏自编码器在处理高维数据中提取低维表示方面具有实用性。然而，当测试时输入噪声与训练过程中使用的噪声不同时，其性能会显著降低。本文将单隐藏层稀疏自编码器形式化为一种转换学习问题，并提出了一个优化问题，导致了预测模型在测试时对噪声水平具有不变性。换句话说，同样的预训练模型能够泛化到不同的噪声水平。通过基于平方根 Lasso 的提出的优化算法，将其转换成一个新的计算效率高的自编码器架构。通过证明我们的新方法对噪声水平具有不变性，我们通过在去噪任务中使用提出的架构训练网络来评估我们的方法。实验结果表明，与常用的架构相比，训练模型在稳定性上在各种不同类型的噪声情况下有显著改善。

Jun, 2024