May, 2023

通过轻量级领域自适应大型语言模型实现放射学报告摘要

HTML
PDF
TL;DR本文系统探讨了轻量级的策略来适应大型语言模型（LLM）以进行放射学报告摘要（RRS）的任务。研究表明，通过在病例文本语料库中进行预训练，以及使用参数高效的微调技术，在RRS范例上进行微调有助于最大程度地适应任务，为临床任务开发有效的自然语言处理解决方案提供了有价值的参考。
发现论文，激发创造
  • ImpressionGPT: 面向放射学报告摘要的迭代优化框架和ChatGPT

    提出了ImpressionGPT，利用建立动态上下文的方法，使模型通过语言模型的上下文学习能力获得从现有数据中语义相似的示例的上下文知识，并设计一种迭代优化算法，用于对生成的印象结果进行自动评估和对应的指令提示，从而在不需要额外训练数据或微调语言模型的情况下在MIMIC-CXR和OpenI数据集上实现了最佳性能。

    Apr, 2023

  • RadLing：面向高效放射学报告理解

    本文介绍了RadLing这一预训练模型，它使用了500K个放射学报告作为训练集，并针对放射学领域进行了微调，使其在细化调整任务中取得了与最先进结果相当的性能。本文的主要贡献在于知识感知遮蔽，这是一种通过遮蔽单词来注入知识的分类知识支持的预训练任务。此外，本文还介绍了一种知识库辅助的词汇扩展方法，以适应放射学领域的通用分词词汇。

    Jun, 2023

  • RadSum23的shs-nlp：面向领域自适应的指令调整LLMs预训练，用于放射学报告印象生成

    本文提出了一个使用大规模医疗文本数据对指令调整的生成大语言模型进行领域自适应预训练的系统，以增强其医疗知识和特定任务的表现。该系统在零样本情况下在IMPRESSIONS生成任务上表现比其他预训练和微调方法更好，并在BioNLP 2023研讨会的Radiology Report Summarization Task 1B中排名第一。

    Jun, 2023

  • 复杂任务的基石：领域转移下放射学报告的鲁棒性生成事件抽取

    本文介绍了一种从放射学报告中提取信息以降低标注数据需求的方法，并比较了基于BERT的任务特定分类层和基于T5的多通道文本生成模型在应用领域中的泛化能力。另外，该文提出了创新的模型推理技术，将复杂任务分解为更小的子任务块，通过多任务联合训练实现了模型单次扫描时的高效率。同时，该文所述方法利用目标领域的上下文信息，增强了模型的领域自适应能力，进而使得在临床应用中更加便捷。

    Jun, 2023

  • 放射学报告总结的指导: 实证评估和错误分析

    自动生成放射学报告的简明摘要可以减轻临床医生的手动负担，并提高报告的一致性。本研究解决了当前方法依赖领域特定资源和了解错误和失败模式的不足，并提出了一种领域无关的变长提取式摘要作为导向信号，进一步改进了自动摘要的效果，并发现自动摘要与放射学家的最大差异在于内容选取和错误分析，对未来研究提出了有希望的方向。

    Jul, 2023

  • 临床文本摘要：大型语言模型的应用能超越人类专家

    在本研究中，我们采用八个大型语言模型，在六个数据集和四个不同的摘要任务（放射学报告、患者问题、进展记录和医生-患者对话）上应用领域适应方法，系统评估了它们的效果，而且展示出最佳适应的大型语言模型的摘要相较于人工摘要在完整性和正确性方面更可取。此外，我们还将传统的自然语言处理指标与医生评分进行了相关性分析，以提高对这些指标与医生喜好的理解。最终，我们的研究证明了大型语言模型在多个临床文本摘要任务中超越人工专家，这意味着将大型语言模型整合到临床工作流程中可以减轻文档负担，使临床医生能够更多关注个性化患者护理和其他医学中不可替代的人工环节。

    Sep, 2023

  • 探索 GPT-4 在放射学领域的边界

    本论文评估了目前最先进的大型语言模型GPT-4在放射学报告的文本应用中的表现，探索了各种提示策略，并发现GPT-4在常见放射学任务中表现要优于或与目前最先进的放射学模型相媲美。针对需要学习特定样式或架构的任务，GPT-4通过基于示例的提示得到改进并与监督的最先进模型相匹配。通过与一名获得认证的放射科医生的广泛错误分析表明，GPT-4在放射学知识方面具备足够水平，只偶尔在需要微妙领域知识的复杂上下文中出现错误。针对发现的总结，GPT-4的输出整体上与现有的人工编写印象相当。

    Oct, 2023

  • 用生成变换器将自由文本放射学记录重塑为结构化报告

    自由文本放射学报告中提取信息的流程，以及使用自然语言处理和基于Transformer的模型填充结构化报告注册表的性能评估和比较。

    Mar, 2024

  • RadBARTsum: 放射学报告摘要的去噪序列到序列模型的领域适应

    该研究提出了RadBARTsum，一种领域特定的、本体学支持的适应BART模型的放射学报告摘要方法。该方法包括两个主要步骤：1）使用一种新颖的实体屏蔽策略在大量放射学报告语料库上重新训练BART模型以提高生物医学领域知识学习，2）使用调查结果和背景部分进行模型微调以预测结论部分。实验采用不同的屏蔽策略进行，结果显示使用领域知识屏蔽的重新训练过程在各种设置下均能持续提高性能。该工作为放射学报告摘要提供了一种领域特定生成型语言模型，以及一种利用医学知识实现实体屏蔽语言模型的方法。所提出的方法展示了通过加深对放射学报告的临床知识理解来提高语言模型效率的一个有希望的方向。

    Jun, 2024

  • 通过与非专业人员总结提示大型语言模型改进专家放射学报告摘要

    利用一种新的提示策略，结合少样本上下文学习，该论文引入了一种改进放射学报告摘要的方法，通过首先生成普通人摘要来规范关键观察，并使用医患交流启发的非专家通信技术简化复杂信息。我们在MIMIC-CXR、CheXpert和MIMIC-III数据集上评估了这种方法，并将其与7B/8B参数状态下的开源大型语言模型（LLMs），如Meta-Llama-3-8B-Instruct，进行了比较。我们的结果表明，在摘要精确性和可访问性方面都取得了改进，特别是在领域外测试中，某些指标的改进高达5%。

    Jun, 2024