ICLRDec, 2021

文本生成的逐步展开去噪自编码器

PDF
TL;DR本论文提出了一种新的文本生成模型 SUNDAE，该模型不依赖于自回归模型，在自然语言数据集上具有最先进的表现，并且通过填写模板中的任意空白模式，展示出了超越从左到右促成生成的可能性。
generative modeltextsundaenon-autoregressivelanguage datasets
发现论文，激发创造
  • TSDAE: 使用基於 Transformer 的逐步去噪自編碼器進行無監督句子嵌入式學習

    本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。 此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

    Apr, 2021

  • 自主深度学习：基于去噪自编码器的增量式学习，处理流动数据

    该论文提出了一种可以在数据流分析中自适应构建去噪自编码器 DEVDAN，并以单次学习为基础的方法，通过网络重要性估计来自动添加或修剪输入特征，从而提高分类精度并适应不断变化的环境。

    Sep, 2018

  • 基于去噪序列到序列预训练的文本生成

    本研究提出了一种新的序列到序列（seq2seq）预训练方法 PoDA（去噪自编码器的预训练），该方法通过去噪噪声受损文本来联合预训练编码器和解码器，在不使用任何特定任务技术的情况下，提高了模型性能并显著加速了收敛速度，同时，本研究还使用 Transformer 和指针 - 生成器网络设计了 PoDA 的骨干架构，实验表明 PoDA 可以提高对抽象摘要和语法错误更正这两个文本生成任务的性能。

    Aug, 2019

  • 利用语言模型和降噪自编码器改善无监督逐字翻译

    本文提出了简单而有效的方法，通过使用单语语料库而无需任何回译来改善跨语言嵌入的逐字翻译，并结合语言模型和噪声自编码器来提高其翻译性能，分析了词汇量和去噪类型对翻译效果的影响。

    Jan, 2019

  • UT5：使用展开去噪预训练非自回归性 T5 模型

    通过展开去噪并展示其在下游生成任务中的最先进结果，我们研究了 T5 模型的非自回归无监督预训练。

    Nov, 2023

  • 通过去噪引导潜在表示的文本自编码器教育

    本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

    May, 2019

  • 用去噪自编码器进行无监督自然语言生成

    使用去噪自编码器对有噪声的结构化数据进行训练，能够在自然语言生成的任务上取得比监督学习更高的性能表现。

    Apr, 2018

  • 利用反向翻译和非对称去噪自编码器的半监督文本简化

    本文提出了一种基于无监督机器翻译的文本简化方法，使用 back-translation 架构和噪声自编码器生成平行语料，引入不同类型的噪声进行训练的不对称去噪方法可以显著提高简化性能。模型在无监督和半监督学习中均具备较好性能，能够与当前多种最先进的简化系统竞争。

    Apr, 2020

  • 边缘去噪自编码器在领域自适应中的应用

    本文提出了一种基于边缘化的 SDA (mSDA) 算法，其能够在保证和传统 SDA 相同效果的前提下，大幅度减小计算量和提升可扩展性。

    Jun, 2012

  • 利用去噪自编码器进行无监督的句子压缩

    本研究通过加入噪声的方式进行了一个摘要任务来训练去噪自编码器从而实现了在不需要配对的语料库的情况下进行句子压缩。使用标准文本摘要数据集的人类评估表明，我们的模型与基于监督学习的语法正确性和意义保留基准相当，不需要目标数据，我们的无监督模型已经学会生成不完美但合理可读的句子摘要。

    Sep, 2018