Apr, 2022

基于 Transformer 网络的住院历史抽象化摘要

PDF
TL;DR本研究提出了一种使用编码器 - 解码器框架的抽象概括方法，其中使用 Longformer 神经网络作为编码器，BERT 作为解码器，与指针生成网络相比，在某些概括任务中表现出更高的质量。我们还与有经验的医生进行了研究，将我们的模型与 PGN 基线和人工生成的摘要进行了比较，结果显示我们的模型的有效性。
abstractive summarizationencoder-decoder frameworklongformer neural networkbertpatient hospitalisation histories
发现论文，激发创造
  • 生物医学文献的面向实体和事实的抽象摘要生成

    本文提出了一种基于实体驱动事实感知的框架，用于训练端到端的基于 Transformer 的编码 - 解码模型以摘要生物医学文章。在使用知识库中的命名实体和事实进行指导的情况下，EFAS 能够实现比标准源文档到摘要设置更准确的实体级事实准确性、N-gram 新颖性和语义等价性，而 ROUGE 指标的表现相当。

    Mar, 2022

  • 使用预训练编码器进行文本摘要

    本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

    Aug, 2019

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 电子健康档案的神经摘要

    本文使用神经网络模型对医院出院总结报告进行自动摘要，结论表明以护理笔记为来源，离散化分离出院总结报告的各个部分作为目标输出来训练语言模型可以提高模型效率和文本质量。

    May, 2023

  • 基于预训练的自然语言生成用于文本摘要

    本文提出了一种基于预训练的编码器 - 解码器框架，使用 BERT 编码输入序列来生成输出序列，采用 Transformer-based 解码器生成草稿输出序列，并将其与原始输入序列结合使用，使用 BERT 生成的草稿表示来预测遮罩位置的优化单词，进而在文本摘要任务上实现了最新的技术水平。

    Feb, 2019

  • 运用预训练模型对医患对话进行自动摘要

    本文研究使用预训练的转换器模型对医患对话转录进行自动摘要的可行性，展示了在特定构造的数据集上，使用有限的训练数据 fine-tuning BART 可以生成流畅而足够的摘要，其生成效果远远超过人工注释者和先前发表的作品质量，并提出了多阶段的方法来处理较长的对话。

    Sep, 2021

  • 乌尔都语的抽象摘要生成

    本文探讨了在乌尔都语的抽象性摘要生成中，使用编码器 / 解码器方法。我们利用一种基于变压器的模型来编码输入文本并生成摘要，实验表明我们的模型可以生成语法正确、意义明确的摘要，并在公开数据集上取得了最先进的 ROUGE 得分结果。我们还对模型输出进行了定性分析，评估其有效性和局限性，发现编码器 / 解码器方法在乌尔都语的抽象性摘要生成中是一种有前途的方法，并且可以通过适当的修改扩展到其他语言。

    May, 2023

  • 基于注意力机制 GRU 编码器 - 解码器的抽象文本摘要

    本篇论文中，采用了 GRU-based encoder 和 Bahdanau attention mechanism 对英语文本进行了自动摘要，使用 News-summary 数据集进行训练，其输出表现优异，可以用作报纸头条。

    Feb, 2023

  • 利用摘要指导进行医学报告摘要

    本研究提出了三个去识别化的医学文本数据集，命名为 DISCHARGE、ECHO 和 RADIOLOGY，共包含 50K、16K 和 378K 的报告和摘要对，作者在这些数据集上使用基于预训练编码器 - 解码器语言模型的有说服力的自动抽象摘要基线，并基于 BART 模型利用训练集的示例摘要作为先验知识引导来增强编码器和解码器的上下文表示，实验结果证实了这种方法在 ROUGE 分数和 BERTScore 上的改进，超过了更大模型 T5-large。

    Feb, 2023

  • 使用序列到序列 RNN 及其扩展进行抽象文本摘要

    该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。

    Feb, 2016