通过开发 StrAE —— 一个自动编码框架来探索 NLP 中显式结构对于表征学习的实用性，可以在无监督的方式下利用句子结构准确地学习多层节点嵌入，并通过一系列内在和外在任务来评估所学习的嵌入。

May, 2023

本文提出了一种称为 Structuring AutoEncoders 的神经网络，其可以使用弱监督形成结构化的低维空间，从而更有效地表示并分类数据。在基准图像数据集 MNIST、Fashion-MNIST、DeepFashion2 以及 3D 人体形状数据集上进行的实验表明，结构潜空间可以为进一步的分类任务和分类数据的有效选择的操作提供更高效的表征。

Aug, 2019

我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

Feb, 2024

本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

Jul, 2019

本文提出了一种新的自监督方法 SidAE，将 Siamese 结构和去噪自编码器相结合进行无监督预训练，证明其在多个数据集、设定和场景下优于两个自监督对照组，其中关键包括仅有少量标记数据的情况。

Apr, 2023

本文提出了一种基于 Self Attentive Revision Encoder (StRE) 的自动化编辑质量预测方法，对于 Wikipedia 这样的大型内容平台来说，该方法可用于内容审核和编辑质量检查。作者的数据集包含 21M 次修改，跨足了 32K 个 Wikipedia 页面，展示了 StRE 相比于传统的评价方式能够实现更高效和准确的评价结果。

Jun, 2019

本文提出一种基于自学习方法的预训练自编码语言模型，该模型通过训练编码器输出高质量的文本序列嵌入来解决解码器可能利用语言模式的问题，实验结果表明该模型能够显著提高稠密检索模型的效果和少样本学习能力。

Feb, 2021

本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。 此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

Apr, 2021

通过最小化重建损失以及监督损失，符号自编码器（ΣAE）利用大量非平行数据和有限的平行数据，通过离散瓶颈层将两个生成模型连接起来，从而在传递任务中显着提高性能，并为弱监督学习场景提供了有希望的解决方案。

Feb, 2024

本文提出一种基于神经网络的端到端模型，实现了零样本抽象文本摘要，并基于 ROCStories 数据集引入了基准任务 ROCSumm。模型 SummAE 由去噪自编码器构成，通过将句子和段落嵌入到一个共同的空间中来生成段落的摘要。实验表明该模型可以比抽取式文本摘要技术更好地进行抽象文本摘要。

Oct, 2019