EMNLPApr, 2021

TSDAE: 使用基於 Transformer 的逐步去噪自編碼器進行無監督句子嵌入式學習

PDF
TL;DR本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。 此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。
发现论文，激发创造
  • 适应航空领域的句子转换器

    针对航空领域的技术术语和非传统语法等特征，作者提出了一种两阶段的方法：使用航空文本数据进行预训练，然后使用自然语言推理数据集在 SBERT 架构上进行微调，以适应该领域并显著优于通用性转换器，突出了领域特定适应对于开发专业 NLP 解决方案的重要性。

    May, 2023

  • 利用反向翻译和非对称去噪自编码器的半监督文本简化

    本文提出了一种基于无监督机器翻译的文本简化方法，使用 back-translation 架构和噪声自编码器生成平行语料，引入不同类型的噪声进行训练的不对称去噪方法可以显著提高简化性能。模型在无监督和半监督学习中均具备较好性能，能够与当前多种最先进的简化系统竞争。

    Apr, 2020

  • TaDSE: 模板感知的对话句子嵌入

    通过模板信息，利用自我学习的对比学习框架，构建模板感知的对话句嵌入方法 TaDSE，并通过合成增强数据集增强话语和模板之间的关系，数据实验结果表明 TaDSE 在五项基准数据集上均超越了现有最佳效果，并且意图分类任务的表现较一致。

    May, 2023

  • 面向序列数据的稳健无监督解缠方法 -- 以音乐音频为例研究

    该论文提出了 TS-DSAE 模型，通过两阶段的训练框架，首先学习序列级先验分布，然后采用这些分布来规范模型，并促进辅助目标以促进解缠。该模型具有鲁棒性，适用于人工和真实世界的音乐音频数据集。

    May, 2022

  • 文本生成的逐步展开去噪自编码器

    本论文提出了一种新的文本生成模型 SUNDAE，该模型不依赖于自回归模型，在自然语言数据集上具有最先进的表现，并且通过填写模板中的任意空白模式，展示出了超越从左到右促成生成的可能性。

    Dec, 2021

  • 用于无监督学习的快速准确的深度双向语言表示

    提出了一种基于 Transformer 的文本自编码器（T-TA），可以在不需要重复推理的情况下计算上下文语言表示。实验结果表明，在 CPU 环境下，T-TA 在 reranking 任务中比基于 BERT 的模型快六倍，在语义相似性任务中快十二倍，并在这些任务上表现出与 BERT 相当甚至更好的准确性。

    Apr, 2020

  • 无监督句子嵌入的自适应对比学习重建

    我们提出了一种自适应重建对比句子嵌入（SARCSE）框架，通过使用自动编码器对句子中的所有单词进行重建，帮助模型在聚合单词时保留更多细粒度的语义。实验结果表明，与强基准 SimCSE 相比，SARCSE 在 7 个 STS 任务中取得了显着改进。

    Feb, 2024

  • 通过去噪引导潜在表示的文本自编码器教育

    本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

    May, 2019

  • 多任务半监督对抗自编码器用于语音情感识别

    本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

    Jul, 2019

  • TED：一个带有主题建模和去噪的预训练无监督摘要模型

    提出了 TED，一种基于 Transformer 的无监督抽象摘要系统，该系统预先训练了大规模数据，利用主题建模和去噪自编码器来提高生成摘要的质量，并在 NYT，CNN/DM 和 English Gigaword 数据集中优于所有无监督抽象基线模型，并高度具有抽象性。

    Jan, 2020