Feb, 2019

基于预训练的自然语言生成用于文本摘要

PDF
TL;DR本文提出了一种基于预训练的编码器 - 解码器框架，使用 BERT 编码输入序列来生成输出序列，采用 Transformer-based 解码器生成草稿输出序列，并将其与原始输入序列结合使用，使用 BERT 生成的草稿表示来预测遮罩位置的优化单词，进而在文本摘要任务上实现了最新的技术水平。
pretraining-basedencoder-decoderberttransformer-basedtext summarization
发现论文，激发创造
  • 使用预训练编码器进行文本摘要

    本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

    Aug, 2019

  • 使用单个预先训练的 Transformer 实现高效的文本摘要

    本研究探讨使用预训练的只有解码器的 Transformer 语言模型，来增强抽象摘要中的样本效率，并在 CNN/Daily Mail 数据集上进行实验以证实其有效性。实验结果表明，相比于预训练的编码器 - 解码器网络，该模型在低数据量的情况下有着更好的 ROUGE-2 得分。

    May, 2019

  • 基于注意力机制 GRU 编码器 - 解码器的抽象文本摘要

    本篇论文中，采用了 GRU-based encoder 和 Bahdanau attention mechanism 对英语文本进行了自动摘要，使用 News-summary 数据集进行训练，其输出表现优异，可以用作报纸头条。

    Feb, 2023

  • 主题扩充生成器用于抽象化摘要

    该研究提出了一种新的解码器，通过条件调整文本和文档的潜在主题来生成摘要，使用 LDA 等主题模型揭示了更多的全局语义信息，使解码器能够访问文本语料库级别的词共现统计信息，实验表明，与现有模型相比，该方法能显著提高 ROUGE 分数。

    Aug, 2019

  • TED：一个带有主题建模和去噪的预训练无监督摘要模型

    提出了 TED，一种基于 Transformer 的无监督抽象摘要系统，该系统预先训练了大规模数据，利用主题建模和去噪自编码器来提高生成摘要的质量，并在 NYT，CNN/DM 和 English Gigaword 数据集中优于所有无监督抽象基线模型，并高度具有抽象性。

    Jan, 2020

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • BERT 模型知识压缩在文本生成中的应用

    该研究的主要目的是探讨如何利用大规模的预训练语言模型如 BERT 来进行语言生成任务，并提出了一种基于条件掩码语言建模（C-MLM）的方法，使用 BERT 对学生模型进行监督，从而实现更好的文本生成性能，实验证明该方法在多语言生成任务上明显优于强大的 Transformer 基线，包括机器翻译和文本摘要，并在 IWSLT 德英和英越 MT 数据集上取得了新的最优效果。

    Nov, 2019

  • DrBERT: BERT 预训练中揭示掩码语言模型解码器的潜力

    提出了多个增强的解码器设计，并引入了 DrBERT（经过解码器优化的 BERT）作为一种新方法进行模型训练，通过微调对原始 BERT 模型的解码器进行改进，有效提高了模型性能而不增加推理时间和资源使用。

    Jan, 2024

  • 利用自我监督方法增强语义理解，用于抽象对话摘要

    本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

    Sep, 2022

  • BART：自然语言生成、翻译和理解的去噪序列到序列预训练

    BART 是一种预训练序列到序列模型的去噪自编码器，通过使用 Transformer 架构，并使用一些创新方法，如随机调换原始数据序列的顺序和填充原始数据中的实体，使得 BART 在文本生成、理解任务以及抽象对话等方面性能表现出色，超越了 RoBERTa，并提供了 1.1 个 BLEU 的机器翻译增量。

    Oct, 2019