Jun, 2024

RadBARTsum: 放射学报告摘要的去噪序列到序列模型的领域适应

PDF
TL;DR该研究提出了 RadBARTsum，一种领域特定的、本体学支持的适应 BART 模型的放射学报告摘要方法。该方法包括两个主要步骤：1）使用一种新颖的实体屏蔽策略在大量放射学报告语料库上重新训练 BART 模型以提高生物医学领域知识学习，2）使用调查结果和背景部分进行模型微调以预测结论部分。实验采用不同的屏蔽策略进行，结果显示使用领域知识屏蔽的重新训练过程在各种设置下均能持续提高性能。该工作为放射学报告摘要提供了一种领域特定生成型语言模型，以及一种利用医学知识实现实体屏蔽语言模型的方法。所提出的方法展示了通过加深对放射学报告的临床知识理解来提高语言模型效率的一个有希望的方向。
radiology report summarizationradbartsumbart modelentity masking strategybiomedical domain knowledge
发现论文，激发创造
  • 本体感知的临床抽象摘要

    通过添加领域特定本体信息增强内容选择和摘要生成，我们的序列到序列抽象式摘要模型的应用于放射学报告数据集，能够显著优于当前最先进的方法，同时经过放射学家的人类评估，表明该方法生成的摘要不太可能省略重要细节，而且读起来依然具有可读性和准确性。

    May, 2019

  • 可微分多智能体演员 - 评论家算法在多步放射学报告摘要中的应用

    本研究提出一种新的基于层级结构的放射学报告摘要方法，将提取性摘要分解为关键句和关键词的提取任务，并采用两步法的方式进行生成，实验结果显示此方法与传统单一或双一的实验方法相比，能够更准确地生成摘要，总体 F1 得分提高了 3-4%。

    Mar, 2022

  • 利用摘要指导进行医学报告摘要

    本研究提出了三个去识别化的医学文本数据集，命名为 DISCHARGE、ECHO 和 RADIOLOGY，共包含 50K、16K 和 378K 的报告和摘要对，作者在这些数据集上使用基于预训练编码器 - 解码器语言模型的有说服力的自动抽象摘要基线，并基于 BART 模型利用训练集的示例摘要作为先验知识引导来增强编码器和解码器的上下文表示，实验结果证实了这种方法在 ROUGE 分数和 BERTScore 上的改进，超过了更大模型 T5-large。

    Feb, 2023

  • 将放射学报告结果提炼为结论

    病人交接和分诊是医疗保健中的两个基本问题。为了高效地与专科医生沟通并快速决策哪些患者需要最紧急的医疗，医生们经常需要费力地总结复杂的发现。在探索这些挑战的过程中，我们提出了一种模型（1），该模型具有最先进的放射学报告摘要性能，并采用一种新的医疗数据增强方法（2），还对模型的局限性和放射学知识增长进行了分析（3）。此外，我们还为基于 MIMIC CXR 数据集开发的未来模型提供了数据处理流程。我们最好的模型是一个经过微调的 BERT-to-BERT 编码器 - 解码器，具有 58.75/100 的 ROUGE-L F1 得分，其表现优于带有更复杂的注意机制的专用检查点。我们在本文中研究了这些方面。

    May, 2024

  • 面向领域的去噪序列到序列模型微调在自然语言摘要中的应用

    通过自然语言处理技术，对长文本数据进行自动摘要，采用数据增强和微调等策略进行优化，可以大幅提高摘要的准确性，本文采用最先进的 NLP 模型 BART 进行研究，并提供了一种端到端的优化策略，使得在金融、医疗或其他特定领域的数据上，其 ROUGE-1 指标达到了绝对提升 5-6% 的水平。

    Apr, 2022

  • 扩展放射学报告摘要的范围，适用于多种解剖学和模式

    通过提出包含六种不同模态和解剖的基于 MIMIC-III 数据库的数据集，我们提出了一个新的简报总结系统，其胜过现有数据集上的以前可重现的研究。

    Nov, 2022

  • 放射学报告总结的指导：实证评估和错误分析

    自动生成放射学报告的简明摘要可以减轻临床医生的手动负担，并提高报告的一致性。本研究解决了当前方法依赖领域特定资源和了解错误和失败模式的不足，并提出了一种领域无关的变长提取式摘要作为导向信号，进一步改进了自动摘要的效果，并发现自动摘要与放射学家的最大差异在于内容选取和错误分析，对未来研究提出了有希望的方向。

    Jul, 2023

  • 通过轻量级领域自适应大型语言模型实现放射学报告摘要

    本文系统探讨了轻量级的策略来适应大型语言模型（LLM）以进行放射学报告摘要（RRS）的任务。研究表明，通过在病例文本语料库中进行预训练，以及使用参数高效的微调技术，在 RRS 范例上进行微调有助于最大程度地适应任务，为临床任务开发有效的自然语言处理解决方案提供了有价值的参考。

    May, 2023

  • 多语种放射学报告的自然语言处理模型 -- 只需摘要！

    通过 fine-tuning 多语言 Transformer 模型，该研究实现了自动化生成多种语言的放射学报告总结，结果显示出与人工撰写总结相当甚至更好的临床可靠性。

    Sep, 2023

  • 学习总结放射学发现

    利用神经序列到序列学习自动化生成放射学诊断报告中印象部分，比现有基线效果更好，在盲测实验中 67% 样本的系统汇总得分至少和人类汇总得分一样高。

    Sep, 2018