Mar, 2024

利用指针 GPT 的生物医学文本摘要的最佳路径

PDF
TL;DR通过使用指针网络替代原始 GPT 模型的注意力机制，研究发现指针 - GPT 模型在生物医学文本摘要中优于原始 GPT 模型，这对于电子病历系统来说是具有价值的重要补充，可以为临床医生提供更准确、更丰富的病历摘要信息，有可能在电子病历系统中开创一种新的模式并改变临床医生与病历交互方式。
biomedical text summarizationtransformer modelsgpt modelspointer networkemr systems
发现论文，激发创造
  • 利用指针生成网络进行摘要生成

    本文提出了一种新的架构，通过使用混合指针生成网络和覆盖机制以增强标准的序列到序列注意模型来解决神经序列到序列模型不精确复制信息和重复问题，该模型在 CNN/Daily Mail 摘要任务上表现优异。

    Apr, 2017

  • 指针生成网络：更抽象的摘要生成

    该研究提出了一种基于多头注意力机制、指针 dropout 和新的损失函数的方法，用于促进摘要的提取，同时保持类似 ROUGE 分数，实现了相对较高的新颖 N-gram 和句子生成率。

    Apr, 2019

  • 通过引导注意力来提高指针网络的生成质量

    本文指出指针生成网络在生成摘要方面存在的提取性和事实准确性不足，并通过附加传统语言信息来纠正这些缺陷，以提高生成效果。

    Jan, 2019

  • 使用 GPT-3 对医学证据进行总结、简化和综合（成功率不同）

    本文使用专业医学人士对 GPT-3 生成的医学文章摘要进行了评估，发现 GPT-3 虽然能够忠实地总结和简化单篇生物医学文章，但在多篇文章发现的证据综合方面存在困难。

    May, 2023

  • 评估由 OpenAI 的 GPT 生成的大型语言模型的文本摘要

    本研究通过使用传统的 ROUGE 和潜在语义分析（LSA）等指标，将 OpenAI 的 GPT 模型作为独立的评估者，评估了 Hugging Face 的六个基于 Transformer 的模型生成的文本摘要的效果。独特地，我们将 GPT 用作评估器而非摘要生成器，使其能够独立评估摘要的质量，而无需预定义的指标。我们的分析显示 GPT 评估与传统指标之间存在显著相关性，尤其是在评估相关性和连贯性方面。结果展示了 GPT 作为评估文本摘要的强大工具的潜力，提供了对已建立指标的补充洞察，并为自然语言处理任务中基于 Transformer 的模型的比较分析提供了依据。

    May, 2024

  • 基于 Medically Aware GPT-3 的医学对话摘要数据生成器

    通过利用 GPT-3 作为算法骨干并采用低样本学习和集成方法，我们介绍了一种算法来创建合成训练数据，以明确关注捕捉医学相关信息，结果相当于采用 6400 个人标记的示例，能够制作出高质量的摘要，就医学准确性和连贯性而言，这种方法产生的摘要明显优于单纯使用人工标记数据进行训练的模型生成的摘要。

    Sep, 2021

  • 指点还是不指点：深入理解摘要生成器的文本改写技术

    本文研究了抽象神经摘要模型中常用的门控机制是如何控制摘要产生的抽象度和拷贝的提取性，并通过实验证明了这种机制在语法边界方面的应用。同时，也发现了抽象神经摘要模型目前缺乏生成都具备抽象和忠实性的释义所必需语义理解能力的问题。

    Jun, 2021

  • 大型语言模型与查询工程在生物医学多文档摘要中的应用

    使用提示工程和 GPT-3.5 进行生物医学问题聚焦多文档摘要，我们的系统在 2023BioASQ 挑战中通过 GPT-3.5 和适当的提示获得了最佳的 ROUGE-F1 结果。这篇论文证实了在其他领域观察到的事实：纳入少样本的提示通常优于对应的零样本变体；检索增强生成实现了最大的改进。这些提示使得我们的最佳运行结果在 BioASQ11b 排名前两位，证明了在一般情况下，使用适当的提示对于大语言模型以及 GPT-3.5 在问题聚焦摘要中的强大作用。

    Nov, 2023

  • 使用 GPT 对大型文档集进行抽象摘要

    本研究提出了一种抽象化汇总方法，可用于文档集合而非个别文档。我们的方法应用语义聚类、主题聚类内的文档大小缩减、聚类文件的语义分块、基于 GPT 的汇总和连接以及每个主题的综合情感和文本可视化，支持探索性数据分析。通过使用 ROGUE 汇总分数将我们的结果与现有的先进系统 BART、BRIO、PEGASUS 和 MoCa 进行了统计比较，我们发现在 CNN/Daily Mail 测试数据集上，性能与 BART 和 PEGASUS 相当，在 Gigaword 测试数据集上，性能与 BART 相当。这一发现是令人鼓舞的，因为我们认为文档集合的汇总比个别文档的汇总更具挑战性。最后，我们讨论了规模问题。

    Oct, 2023

  • 概念指针网络用于抽象摘要生成

    本论文提出基于概念指针网络的抽象总结方法，使得生成的总结不仅保留了原文的关键信息，同时还生成了新的概念词汇来表达具体细节，而且采用了一种新颖的远程监督学习方法来优化训练模型。实验结果表明，该方法在 DUC-2004 和 Gigaword 数据集上显著优于多种最先进的模型。

    Oct, 2019