COLINGSep, 2022

LED 深入兔子洞：探索全局注意力在生物医药多文档摘要中的潜力

PDF
TL;DR本文研究对 PRIMERA 进行调整以适应生物医学领域，其中全局关注了几种重要的生物医学实体，并分析了 23 个模型的结果，结果表明全局关注、训练步骤数量和输入配置等因素会影响结果的模式。
发现论文，激发创造
  • 基于预训练语言模型的医学文本摘要综述

    本文系统总结了使用预训练语言模型（ Pre-trained language models）的生物医学文本摘要的最新进展、挑战问题和未来方向，帮助我们更好地理解该领域的最新进展和使用预训练语言模型在生物信息学中的应用。

    Apr, 2023

  • 摘要文档生成的注意力优化

    该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

    Oct, 2019

  • MS2: 医学研究的多文档摘要

    本研究针对医学干预方案的评估，提供了一个达到自动评估医学文献、整合多个研究结果的新数据集：MS^2。并基于 BART 模型，通过自由文本和结构化形式，提出了用于评估自动生成摘要质量的新指标。

    Apr, 2021

  • 利用引用文献的知识聚合提高生物医学文摘生成技术

    通过整合源文章中引用的外部论文，本研究旨在提高语言模型在生物医学抽象摘要中的表现。我们提出了一种基于注意力的引文聚合模型，该模型整合了引文论文中的领域特定知识，使神经网络能够利用论文内容和引文论文的相关知识来生成摘要。此外，我们构建并发布了一个大规模的生物医学摘要数据集，为我们的研究奠定了基础。广泛的实验表明，我们的模型优于现有方法，在生物医学抽象文本摘要中取得了显著的改进。

    Oct, 2023

  • 生物医学文献的面向实体和事实的抽象摘要生成

    本文提出了一种基于实体驱动事实感知的框架，用于训练端到端的基于 Transformer 的编码 - 解码模型以摘要生物医学文章。在使用知识库中的命名实体和事实进行指导的情况下，EFAS 能够实现比标准源文档到摘要设置更准确的实体级事实准确性、N-gram 新颖性和语义等价性，而 ROUGE 指标的表现相当。

    Mar, 2022

  • 多文档摘要：一项比较评估

    本研究通过对不同领域不同类型数据集上的最新多文档摘要模型进行评估，探究现有模型的局限性，为未来研究方向提供参考。研究发现，在 MS2 数据集中，通用预训练模型 LED 的表现优于 PRIMERA 和 PEGASUS 模型。本研究以 ROUGE 得分作为性能衡量指标，为不同领域中这些模型的优势、弱点以及适用性提供了有价值的见解，有助于开发能够适用于要求高、学术和 / 或科学复杂数据以及常规相对简单数据集的准确且强大的模型。

    Sep, 2023

  • 基于神经注意力机制的摘要句子生成模型

    本文提出了一种基于数据驱动的、对抽象句子的局部关注模型进行生成式摘要的方法，通过训练大规模数据，该模型相比较于几种强基线模型在 DUC-2004 共享任务中表现了显著的性能提升。

    Sep, 2015

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018

  • SuMe: 面向生物医学机制概述的数据集

    本文介绍了生物医学机制总结任务，并利用少量手工标注的机制句子，训练了机制句子分类器以过滤大量的生物医学摘要并创建了一个包含 22k 实例的总结数据集。此外，我们还引入了 611k 实例的结论句子生成作为预训练任务，并基准测试了大型生物领域语言模型的性能。我们发现，虽然预训练任务有助于提高性能，但最佳模型仅在 32％的情况下产生可接受的机制输出，这表明该任务在生物医学语言理解和总结方面面临巨大挑战。

    May, 2022

  • 医疗文本数据的注意机制增强深度学习模型探索

    本研究探索了使用深度学习模型和注意力机制在医学文本挖掘中的应用，旨在提高模型识别关键医学信息的能力，通过结合领域知识优化一个自适应注意力模型的能力来处理医学术语和复杂上下文，并证实该模型在任务准确性和鲁棒性方面的有效性，为智能医疗信息处理和临床决策辅助提供了新的视角和方法支持。

    May, 2024