本文研究了自编码器的潜在空间（LS）属性，并提出了两种获得期望拓扑结构的 LS 配置方法。研究表明，利用几何损失项直接作用于 LS 的损失配置方法可以可靠地获得期望的 LS 配置，从而可以在 LS 中定义相似性度量来预测标签或估计多个输入的相似性，而无需使用解码器或分类器。研究还证明，使用所提出的方法训练的有监督自编码器在纹理分类方面表现良好，并且可以在没有微调的情况下很好地泛化到来自 LIP、Market1501 和 WildTrack 数据集的未见数据，甚至可以用于评估未见类的相似性。此外，通过跨数据集搜索和基于文本查询进行文本搜索的实验证明了预配置的 LS 相似性估计的优势，而无需使用语言模型。

Feb, 2024

这篇文章介绍了一种新的半监督分类方法，该方法使用监督自编码器网络，将标签编码到自编码器的潜空间，并定义一个结合分类和重构损失的全局准则，用 PyTorch 实现该半监督自编码器方法并展示其在生物医学应用中的卓越表现。

Aug, 2022

通过引入 Gated Sparse Autoencoder，文章解决了稀疏自编码器中的估计偏差问题，实现了对语言模型激活的解释性特征的无监督发现。

Apr, 2024

通过现代机器学习工具来实现硬件加速、并行化和自动微分的消息传递算法，探讨并展示了 SVAE 模型的优势，从而表明现在是重新审视结构化变分自编码器的时候了。

May, 2023

本文提出了一种新的堆叠自编码器模型 - 邻近信封嵌套堆叠自编码器集成模型（NE_ESAE），该模型使用邻近样本信封学习机制进行优化，采用多层迭代平均聚类方法生成具有层次结构信息的信封样本空间，然后在每个样本空间的层上进行嵌套自编码器（ESAE）的训练和特征减少与基分类器的分类，最终通过集成机制融合信封样本空间的每一层的分类结果，实验结果表明这种方法比传统的特征学习方法和代表性的深度自编码器有显着的性能优势。

Oct, 2022

该论文提出了两个简单的改进措施，一是将重构作为辅助目标包含在词汇中以提高表示质量，二是演示了增加独立通道数量可显著提高嵌入质量，同时减少参数数量，甚至将非嵌入参数总数减少到七的极限。我们的系统可以从头开始使用仅为 1000 万个输入数据进行预训练，并且在英语、西班牙语和南非荷兰语之间都表现出良好的效果。

Apr, 2024

通过将图形模型与深度学习架构组合，我们学习具有两种框架优势的生成模型。我们提出了学习 SVAE 的新算法，并首次证明了 SVAE 处理丢失数据时处理多模态的能力。这些优化创新使 SVAE 能够通过梯度下降法进行学习。

Jun, 2023

我们提出了一种名为低秩自动编码器（LoRAE）的新方法，它通过使用低秩正则化器自适应地重构一个低维潜在空间，同时保持自动编码器的基本目标，以便在嵌入数据于一个低维空间的同时保留重要信息。我们在理论上为模型建立了更严格的误差界限，而在实践中，我们的模型通过图像生成和下游分类等各种任务展示了其优越性，理论和实践结果都强调了获取低维嵌入的重要性。

Oct, 2023

稀疏自编码器被应用于解释训练好的 Transformer 模型的内部激活值，发现它们能够找到一种稀疏而可解释的分解表示，从而帮助研究人员更详细地解释模型行为，并深化对电路语义的理解。

Jun, 2024

通过开发 StrAE —— 一个自动编码框架来探索 NLP 中显式结构对于表征学习的实用性，可以在无监督的方式下利用句子结构准确地学习多层节点嵌入，并通过一系列内在和外在任务来评估所学习的嵌入。

May, 2023