判别式循环稀疏自编码器
本研究提出了一种基于深度潜在随机变量的自然图像生成模型，其采用新型分布称为修正高斯，其中采用类似 spike-and-slab 的稀疏性，保持了有效的随机梯度变分推断的可微性；通过一个结构化后验分布估计函数的近似，提出了一种新型结构化变分近似方法，避免常规均场假设，并保持了生成模型的先验依赖关系，从而实现了具有许多层潜在随机变量的深度模型的联合训练。
Feb, 2016
在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。
Nov, 2023
本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013
本论文根据对深度神经网络训练过程的观察，提出了 class-encoder 的形式化表述方法，它结合了自动编码器（auto-encoders）和 softmax 函数进行监督训练，以降低类别内部的特征空间变异性，提高人脸识别模型的分类性能。
May, 2016
本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。
Jan, 2018
本研究旨在探讨通过鼓励稀疏性来学习表示的有效性，提出了一种名为 k-sparse 自编码器的方法，该方法取得了比其他方法更好的 MNIST 和 NORB 分类结果。
Dec, 2013
介绍了一种使用离散稀疏自编码器在大型语言模型中发现可解释电路的高效且健壮的方法，通过训练稀疏自编码器，我们能够从仅有的正例中直接识别与电路相关的注意力头，实现了较高的准确率和召回率，同时降低运行时间。
May, 2024
本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发了一种训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。
Jun, 2023