Mar, 2020

预训练序列到序列和显著性模型的结合抽象化摘要

PDF
TL;DR本研究通过实验证明，将能够识别源文本重要部分的显著性模型与预先训练的 seq-to-seq 模型相结合，可以在 CNN/DM 和 XSum 数据集上优于预先训练的 seq-to-seq 模型，并在 ROUGE-L 指标上超过以前最佳表现模型。
pre-trained modelsabstractive summarizationsaliency modelstoken sequenceexperimental results
发现论文，激发创造
  • 序列到序列模型的神经摘要文本概括

    本研究从网络结构、训练策略和摘要生成算法三个方面全面综述了不同的 seq2seq 模型用于文本摘要生成的研究，并提出了一个名为 NATS 的开源工具包进行研究，对 CNN / Daily Mail 数据集进行了广泛的实验检验，在 Newsroom 和 Bytecup 数据集上测试了两个模型。

    Dec, 2018

  • 改进序列到序列模型，使用元启发式方法进行抽象文本摘要

    在信息时代，人们阅读冗长的新闻文章的时间越来越少，提供简洁的信息摘要变得比以往任何时候都更为重要。本文旨在改进现有的架构和模型，针对抽象文本摘要进行微调超参数，并尝试特定的编码器 - 解码器组合，以提高摘要生成的效果。

    Mar, 2024

  • 通过重新引用源文本进行抽象文档摘要的预训练

    该论文提出了三个预训练目标，并基于未标记的文本对 Seq2Seq based abstractive summarization model 进行预训练，从而在有限的监督 summarization data 上改进其性能，这三个目标与 abstractive document summarization task 有密切关联。实验结果表明，这三个目标均能改进模型性能，且仅使用 19GB 的文本进行预训练即可与使用大规模数据集预训练的模型达到可比较的效果。

    Apr, 2020

  • 综合的和抽象的摘要：基于行列式点过程的多样化注意力

    本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。

    Sep, 2019

  • 医疗本体注意事项：针对临床抽象摘要的内容选择

    将本体术语引入到 seq2seq 网络中，以解决临床摘要生成中内容选择的问题。在 MIMIC-CXR 和 OpenI 两个公开临床数据集上实验，结果表明我们的模型在 Rouge 评估中得分显著提高（提升: 2.9% RG-1, 2.5% RG-2, 1.9% RG-L）。

    May, 2020

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016

  • 利用深度学习架构增强上下文理解的神经序列到序列模型与注意力的应用于抽象文本摘要

    该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

    Apr, 2024

  • 稳健神经摘要生成系统及其对抗信息的评估

    本文提出了一种基于语义理解的神经生成式摘要模型，通过对显要内容的语义解释学习生成高质量摘要。同时引入一种新的对抗样本评估体制，证明该模型比流行的指针 - 生成式模型更好地识别了离题信息，并且人工评估结果表明本文模型生成的摘要更具信息量和可信度，且冗余度更低。

    Oct, 2018

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • 为提高语义一致性，正则化中国社交媒体抽象文本摘要的输出分布

    本文探讨了抽象文本摘要中生成内容与原文义不相符的问题，并提出了以正则化为基础的序列到序列模型和实用人工评估方法以解决问题。实验结果表明，该方法在提高人工评估的语义一致性方面比以前的模型有效。

    May, 2018