Mar, 2024

改进序列到序列模型，使用元启发式方法进行抽象文本摘要

PDF
TL;DR在信息时代，人们阅读冗长的新闻文章的时间越来越少，提供简洁的信息摘要变得比以往任何时候都更为重要。本文旨在改进现有的架构和模型，针对抽象文本摘要进行微调超参数，并尝试特定的编码器 - 解码器组合，以提高摘要生成的效果。
information ageconcise summarizationsequence-to-sequence modelsabstractive text summarizationencoder-decoder combinations
发现论文，激发创造
  • 序列到序列模型的神经摘要文本概括

    本研究从网络结构、训练策略和摘要生成算法三个方面全面综述了不同的 seq2seq 模型用于文本摘要生成的研究，并提出了一个名为 NATS 的开源工具包进行研究，对 CNN / Daily Mail 数据集进行了广泛的实验检验，在 Newsroom 和 Bytecup 数据集上测试了两个模型。

    Dec, 2018

  • 利用深度学习架构增强上下文理解的神经序列到序列模型与注意力的应用于抽象文本摘要

    该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

    Apr, 2024

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016

  • 稳健神经摘要生成系统及其对抗信息的评估

    本文提出了一种基于语义理解的神经生成式摘要模型，通过对显要内容的语义解释学习生成高质量摘要。同时引入一种新的对抗样本评估体制，证明该模型比流行的指针 - 生成式模型更好地识别了离题信息，并且人工评估结果表明本文模型生成的摘要更具信息量和可信度，且冗余度更低。

    Oct, 2018

  • 阅读、标记和总结：基于层次神经语义编码器的方法

    本文提出了一种基于文档精华提取的文本摘要方法，并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders，利用自我强化学习模型进一步提高了文本摘要的质量，实现并超越了文本摘要领域的最佳性能，其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。

    Oct, 2019

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 预训练序列到序列和显著性模型的结合抽象化摘要

    本研究通过实验证明，将能够识别源文本重要部分的显著性模型与预先训练的 seq-to-seq 模型相结合，可以在 CNN/DM 和 XSum 数据集上优于预先训练的 seq-to-seq 模型，并在 ROUGE-L 指标上超过以前最佳表现模型。

    Mar, 2020

  • 通过重新引用源文本进行抽象文档摘要的预训练

    该论文提出了三个预训练目标，并基于未标记的文本对 Seq2Seq based abstractive summarization model 进行预训练，从而在有限的监督 summarization data 上改进其性能，这三个目标与 abstractive document summarization task 有密切关联。实验结果表明，这三个目标均能改进模型性能，且仅使用 19GB 的文本进行预训练即可与使用大规模数据集预训练的模型达到可比较的效果。

    Apr, 2020

  • 使用文档上下文向量和循环神经网络进行抽取式和生成式文本摘要

    本文提出了一种基于文档上下文的 Seq2Seq 模型，使用 RNN 进行描述总结。文中探讨了使用半监督技术和文档上下文方法进行大型文档总结的现有技术，并证明了该方法的高效性。

    Jul, 2018

  • 医疗本体注意事项：针对临床抽象摘要的内容选择

    将本体术语引入到 seq2seq 网络中，以解决临床摘要生成中内容选择的问题。在 MIMIC-CXR 和 OpenI 两个公开临床数据集上实验，结果表明我们的模型在 Rouge 评估中得分显著提高（提升: 2.9% RG-1, 2.5% RG-2, 1.9% RG-L）。

    May, 2020