ACLApr, 2019

SEQ^3: 可微分的序列到序列到序列自编码器用于无监督的抽象句子压缩

PDF
TL;DR本文介绍了一种基于序列 - 序列 - 序列自编码器 (SEQ^3) 的神经网络模型用于非监督抽象句子压缩，利用预训练语言模型作为潜变量的先验，结合连续的松弛机制使模型可优化，避免了对平行文本摘要对的依赖，实现了在基准数据集上取得了诱人的结果。
neural sequence-to-sequence modelsautoencoderunsupervised abstractive sentence compressionlatent variablespretrained language model
发现论文，激发创造
  • 序列模型的离散自编码器

    本文旨在通过强制使用自动编码器并引入改进的语义哈希技术，从序列模型中提取更好的表示，以提高其在语言建模和机器翻译等任务中的表现，并展示了该技术在生成多元化翻译方面的应用。

    Jan, 2018

  • 半监督序列学习

    本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

    Nov, 2015

  • 语言作为潜变量：离散生成模型用于句子压缩

    通过深度生成模型进行文本压缩，利用离散语言模型分布作为文档的潜在表示，生成模型引入离散语言模型的概念，通过变分自编码器进行推断，本研究在大量监督数据训练的情况下，得出抽象和提取式压缩的最新成果，并探索半监督压缩场景。

    Sep, 2016

  • 利用去噪自编码器进行无监督的句子压缩

    本研究通过加入噪声的方式进行了一个摘要任务来训练去噪自编码器从而实现了在不需要配对的语料库的情况下进行句子压缩。使用标准文本摘要数据集的人类评估表明，我们的模型与基于监督学习的语法正确性和意义保留基准相当，不需要目标数据，我们的无监督模型已经学会生成不完美但合理可读的句子摘要。

    Sep, 2018

  • 使用离散潜变量在序列模型中进行快速解码

    本研究提出使用离散潜变量来扩展序列模型，使解码更可并行化，相对于可比较的自回归模型，我们的模型在神经机器翻译任务中解码快一个数量级，而虽然 BLEU 得分低于纯自回归模型，但比以前提出的非自回归翻译模型获得了更高的分数。

    Mar, 2018

  • 编码增强的序列到序列预训练模型用于语言理解与生成

    本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

    May, 2022

  • 一种跨句子潜变量模型用于半监督文本序列匹配

    提出一种基于潜在变量的模型，可用于预测文本序列之间的关系，并在半监督自然语言推理和改写识别方面取得了最新进展。

    Jun, 2019

  • 自编码器作为助理监督器：改进中文社交媒体文本摘要的文本表示

    本研究针对社交媒体长且嘈杂的内容难以准确表达的问题，使用自编码器协助训练 Seq2Seq 模型，通过监督源内容与摘要的表征学习，实现抽象文本摘要生成并在基准数据集上取得了最先进的性能。

    May, 2018

  • SeqDiffuSeq：带有编码器 - 解码器变压器的文本扩散

    本文研究使用扩散模型（diffusion model）来处理序列到序列文本生成问题，探讨扩散模型的优越生成性能是否可转移到自然语言领域。提出 SeqDiffuSeq，一种使用自适应噪声调度技术的文本扩散模型，结合自编码器变压器（encoder-decoder Transformers）架构，实现去噪声函数建模，通过实验得出扩散模型在文本生成的质量和推理时间方面都表现良好。

    Dec, 2022

  • 非自回归序列到序列视觉语言模型

    通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型（NARVL），不再限制为条件分布，能够建模多个推断路径的联合分布，从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模型相当的性能提升，并且速度更快。

    Mar, 2024